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Voorwoord 



Een halfjaar lang heeft de Inspectie van het Onderwijs in de bijzondere 
omstandigheid verkeerd een extern stelsel voor kwaliteitsborging te mogen 
onderzoeken. Meestal richten wij ons immers op interne kwaliteitsborging. Het 
onderzoeksteam voelde zich daarbij ongeveer zoals de accreditatiepanels binnen het 
stelsel. Geleidelijk aan maakten onze onderzoekers zich alle ins en outs van een 
complex en veelomvattend systeem eigen. De uitvoerige en openhartige gesprekken 
met bestuur en staf van de NVAO ervoeren zij als peergesprekken. Accrediteren en 
toezicht houden liggen immers - hoezeer verschillend ook in de kern - wat 
activiteiten betreft dicht bij elkaar: waarnemingen doen, oordelen vellen en 
consequenties bepalen. Dat maakt dat professionele dilemma's waar beoordelaars 
en besluitvormers binnen het accreditatiestelsel voortdurend mee worstelen, vaak 
door het team herkend werden. De keuzes konden regelmatig met collegiaal begrip 
bezien worden: het zijn vaak ook dilemma's en keuzes waar de inspectie zelf voor 
staat. 

Maar uiteindelijk prevaleert ook voor ons - conform onze wettelijke opdracht - de 
distantie om objectief en onafhankelijk tot een oordeel te komen over de kwaliteit 
van het stelsel. 

Dat oordeel is in de kern positief. Het hoger onderwijs kan trots zijn op haar 
accreditatiestelsel. Het draagvlak is groot en de effectiviteit ervan neemt sterk toe. 
Dit laat onverlet dat wij ook knelpunten en bedreigingen zien. Het verminderen van 
de lasten, het evalueren van de betrouwbaarheid en het verder verbeteren van de 
validiteit en van de vergelijkbaarheid van de uitkomsten vormen belangrijke 
verbeterpunten. De recente opkomende kritiek vanuit het wetenschappelijk 
onderwijs, juist ook op deze punten, verdient specifieke aandacht. 

Het was een groot genoegen dit onderzoek te doen, door de raakvlakken met ons 
eigen werk, maar ook door de grote bereidheid van alle betrokkenen bij het stelsel 
om aan het onderzoek mee te werken. Wij danken allen die ons te woord hebben 
gestaan, vragenlijsten ingevuld hebben en case-gesprekken georganiseerd hebben. 
In het bijzonder bedanken we de resonansgroep voor het onderzoek, die ons in vier 
bijeenkomsten met veel informatie en ervaringen 'van binnen uit' adviseerde. 

Wij hopen van harte dat we met dit onderzoek een bijdrage leveren aan de verdere 
ontwikkeling van de kwaliteit van het stelsel. 



Rick Steur, 

Hoofdinspecteur hoger onderwijs. 
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Samenvatting 



Het Nederlandse accreditatiestelsel hoger onderwijs 

Het Nederlandse hoger onderwijs kent sinds 2002 het accreditatiestelsel. Hierin 
vindt borging plaats van de kwaliteit van alle opleidingen in het hoger onderwijs met 
beoordelingen door onafhankelijke commissies van deskundigen. De kwaliteit van 
elke opleiding wordt eens in de zes jaar beoordeeld en bij een positief oordeel wordt 
de opleiding voor de volgende periode geaccrediteerd. Het accreditatieorgaan, de 
Nederlands-Vlaamse accreditatieorganisatie (NVAO), neemt op basis van de 
beoordelingen de accreditatiebesluiten. Ook beoordeelt de NVAO de aanvragen voor 
nieuwe opleidingen en voor een instellingstoets kwaliteitsborging. 

Uitkomsten onderzoek 

Krachtig stelsel 

Het Nederlandse accreditatiestelsel in het hoger onderwijs is van voldoende 
kwaliteit. Het is een krachtig, breed gedragen stelsel met een duidelijk 
kwaliteitsbevorderend effect. Er heerst een sterk gevoel van eigenaarschap: het is 
ons stelsel, wij hebben hier samen voor gekozen. Tegelijk ziet de Inspectie van het 
Onderwijs (de inspectie) enige knelpunten en risico's. Een aantal knelpunten, zoals 
gebrek aan evaluatie van de betrouwbaarheid, de onderbelichting van relevante 
kwaliteitsaspecten en het nog ontbreken van niet geanonimiseerde overzichten van 
vergelijkbare opleidingen, zijn goed oplosbaar. Het stelsel blijkt een heel behoorlijk 
leervermogen te hebben. Wij zien voldoende perspectief voor verdere versteviging. 
Het lastigst aan te pakken is wellicht de grote belasting, die in het nieuwe stelsel 
niet minder is geworden. Dat vereist een gezamenlijke aanpak van alle actoren. 

Sterke kanten 

De sterke kanten van het stelsel zijn: 

o Het onmiskenbare draagvlak. Het stelsel is voortgekomen uit het visitatiestelsel 
van de koepels en die herkomst is nog altijd merkbaar: het is nog altijd deel van 
het hoger onderwijs. Dit maakt dat de beoordelingen doorgaans geaccepteerd 
worden en dat de grote lasten gedragen worden. 

o Het stelsel is ondanks het grote aantal betrokkenen en mede dank zij de 

evaluatiebureaus een zorgvuldige, goed geoliede machine, met een groot aantal 
kwaliteitswaarborgen. 

o Het stelsel heeft een behoorlijke verbetercapaciteit: het verbetert zichzelf 

langzaam maar zeker. Zo is recent de lat hoger komen te liggen, worden panels 
beter samengesteld, gaat het meer om de inhoud en zijn rapporten leesbaarder. 

o Sterk is ook de grote vakinhoudelijke deskundigheid van de panels. 

o Deze deskundigheid draagt in hoge mate bij aan de stimulans die de 
beoordeelden ervaren voor de kwaliteit van hun opleiding. 

Knelpunten 

Maar er doen zich ook knelpunten voor: 

o De hoge administratieve lasten zijn in tegenstelling tot gewekte verwachtingen 

in het nieuwe stelsel niet minder geworden, 
o Er is tot nu toe in het stelsel te weinig gedaan aan de evaluatie van de 

betrouwbaarheid van de beoordelingen. Voor ons was het nu niet mogelijk de 

betrouwbaarheid vast te stellen gezien het nog maar korte bestaan van het 

nieuwe stelsel. 

o In de feitelijke oordelen blijven enkele voor belanghebbenden relevante 

kwaliteitsaspecten onderbelicht. De validiteit ten opzichte van de publiek 

verwachte kwaliteit kan verder verbeterd worden, 
o De instellingstoets stelt sommige instellingen teleur: deze is veeleisender dan 

verwacht. Sommige instellingen hebben hiervoor meer tijd nodig, 
o De transparantie van verschillen en profilering van vergelijkbare opleidingen laat 

nog te wensen over. 
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o De toegenomen scherpte van de beoordeling leidt tot weerstand bij instellingen, 
mede gevoed door de hoge belasting en vragen rond betrouwbaarheid. Dit geeft 
recent in het wetenschappelijk onderwijs druk op het draagvlak. 

Evaluatie invoering nieuw stelsel 

De meeste doelen van de veranderingen in het stelsel vanaf januari 2011 lijken 
gerealiseerd te worden, voor zover nu al te constateren: 

o De kwaliteitscultuur van instellingen en opleidingen wordt meer gestimuleerd, 
o Er is meer focus op kwaliteit en de inhoud van de opleiding; de resultaten van 

de opleidingen komen meer op de voorgrond, 
o Verschillen in kwaliteit worden beter zichtbaar, 
o Er is meer maatwerk in het stelsel gekomen. 

De beoogde vermindering van de administratieve lasten wordt echter niet behaald. 
Aanbevelingen 

De inspectie beveelt aan de volgende verbeteringen door te voeren. Deze zijn 
gericht op een verdere verbetering van het Nederlandse accreditatiestelsel. Wij 
richten ons daarbij op de actoren in het stelsel, te weten de overheid, NVAO, 
evaluatiebureaus, panels en instellingen. Daar waar de NVAO als hoofdactor 
genoemd wordt, zijn de aanbevelingen in formele zin gericht aan het Comité van 
Ministers (dat wil zegen de ministers van onderwijs van Nederland en Vlaanderen) 
aangezien de NVAO als binationale organisatie onder het Comité valt. 

1. Evalueer de betrouwbaarheid 

De NVAO dient, in samenspraak met de evaluatiebureaus, meer onderzoek te 
doen naar de betrouwbaarheid van de beoordelingen in het nieuwe Nederlandse 
stelsel zodra voldoende gegevens beschikbaar zijn. 

2. Verbeter en bewaak de validiteit 

De validiteit van de beoordelingen in het Nederlandse stelsel dient door de NVAO 
verbeterd te worden. Dit kan door voor stakeholders relevante 
kwaliteitsaspecten meer te betrekken bij de beoordelingskaders en bij de 
feitelijke beoordeling. De wet biedt hier de ruimte voor. 

3. Bestrijd samen actief de administratieve lasten 

Overheid, NVAO, evaluatiebureaus, panels, instellingen en de inspectie dienen 
samen actief de administratieve lasten van het stelsel te bestrijden. Dit kan 
onder andere door beperking in de handleidingen, discipline bij de panels en bij 
de instellingen. Ook biedt meer proportionaliteit wellicht verlichting. 

4. Bied meer compliance assistance rond kwaliteitszorg 

Het is van belang dat instellingen zich beter bewust zijn van wat een 
daadwerkelijk functionerend kwaliteitszorgsysteem inhoudt. De NVAO kan, nu er 
inmiddels veel ervaring is opgedaan, instellingen hierbij steun en verduidelijking 
bieden. Voor sommige instellingen is meer tijd nodig de interne kwaliteitszorg op 
orde te krijgen. 

5. Verbeter verder de publieke vergelijkbaarheid van opleidingen 

De toegankelijkheid van uitkomsten van de beoordeling van vergelijkbare 
opleidingen voor het publiek kan vergroot worden door al bestaande overzichten 
en publicaties aan te vullen met niet geanonimiseerde sectorbeelden. 

Toezicht op het accreditatiestelsel 

Dit zijn de uitkomsten van een inspectieonderzoek naar de kwaliteit van het 
Nederlandse accreditatiestelsel in het hoger onderwijs. Hiervoor stelde de inspectie 
een toezichtkader op met standaarden voor de kwaliteit van het accreditatiestelsel. 
Het onderzoek vond plaats in het voorjaar van 2013 en bestond uit gesprekken met 
betrokkenen, een enquête onder beoordeelde instellingen, analyse van rapporten en 
acht casestudies. 

Over twee jaar, in 2015, onderzoekt de inspectie de verbeteringen op de vijf 
aanbevelingen. Over vier jaar, in 2017, volgt een nieuw breed onderzoek op basis 
van de inspectiestandaarden. 
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OVER HET ONDERZOEK 



Het Nederlandse accreditatiestelsel in het hoger onderwijs 

Het Nederlandse hoger onderwijs kent sinds 2002 het accreditatiestelsel. Hierin 
vindt borging plaats van de kwaliteit van alle opleidingen in het hoger 
beroepsonderwijs (hbo) en het wetenschappelijk onderwijs (wo) met onafhankelijke 
beoordelingen door commissies van deskundigen. Elke opleiding wordt eens in de 
zes jaar op kwaliteit beoordeeld en bij een positief oordeel voor de volgende periode 
geaccrediteerd. Het accreditatieorgaan, de Nederlands-Vlaamse 
accreditatieorganisatie (NVAO), neemt op basis van de beoordelingen de 
accreditatiebesluiten. Ook beoordeelt de NVAO de aanvragen voor nieuwe 
opleidingen en voor een instellingstoets kwaliteitsborging. 

Toezicht op het accreditatiestelsel 

De Inspectie van het Onderwijs (hierna: de inspectie) heeft volgens de Wet op het 
onderwijstoezicht (WOT) toezicht op het Nederlandse accreditatiestelsel ( x ). Dit 
betreft toezicht op de kwaliteit van het functioneren van het accreditatiestelsel in 
Nederland, en betreft geen toezicht op de NVAO ( 2 ). 

Het onderhavige onderzoek naar het accreditatiestelsel maakt deel uit van dit 
toezicht. 

Voor het toezicht op het accreditatiestelsel ( 3 ) heeft de inspectie een concept 
toezichtkader opgesteld en besproken met de NVAO, de resonansgroep voor dit 
onderzoek en het ministerie ( 4 ). Na het onderzoek in 2013 vindt op grond van de 
ervaringen met betrokkenen een evaluatie plaats, waarna het toezichtkader 
bijgesteld en vastgesteld wordt. 

Het doel van dit toezicht is het beoordelen en bevorderen van de kwaliteit van het 
accreditatiestelsel. Het onderzoek moet inzicht geven in de sterke kanten, maar ook 
in de punten waarop verbetering nodig en mogelijk is. 

De ontwikkeling van het Nederlandse accreditatiestelsel 

Het Nederlandse accreditatiestelsel is terug te voeren op de invoering van het 
visitatiestelsel in 1985 (zie het overzicht in bijlage V). Belangrijke momenten zijn: 
o 1985: invoering visitatiestelsel: de koepels laten de opleidingen eens per zes 

jaar beoordelen door peers, zonder eindoordeel, 
o 1999: Bologna-verklaring: 31 Europese landen spreken af nationale 

kwaliteitssystemen voor hoger onderwijs in te voeren. Er komen richtlijnen 
en een register voor de nationale kwaliteitsorganen. 



1 De inspectie houdt toezicht op het accreditatiestelsel volgens art. 3.2, lid c van de WOT: 'De 
inspectie heeft mede als taak x het onderzoeken en bevorderen van de kwaliteit van het stelsel 
van hoger onderwijs, met inbegrip van het stelsel van accreditatie, bedoeld in artikel 1 . 1, 
onderdelen s en t, van de Wet op het hoger onderwijs en wetenschappelijk onderzoek. ' 

Het accreditatiestelsel zelf is geregeld in hoofdstuk 5a van de WHW en verder door het 
accreditatieorgaan, de Nederlands-Vlaamse accreditatieorganisatie (NVAO) uitgewerkt in 
beoordelingskaders en onderliggende instrumenten. 

2 Toezicht op de NVAO is volgens het Accreditatieverdrag tussen de ministers van onderwijs 

van Nederland en Vlaanderen voorbehouden aan het Comité van Ministers. Daarnaast 
gelden de bepalingen in de Kaderwet ZBO. 

3 Waar we in het vervolg over het accreditatiestelsel spreken, bedoelen we het Nederlandse 

accreditatiestelsel en niet het Vlaamse. 

4 Dit deel van het toezicht staat los van het toezicht op de naleving van wet- en regelgeving 

van instellingen, vormgegeven in thematisch en incidenteel onderzoek. Voor dit 
nalevingstoezicht hebben de NVAO en de inspectie een samenwerkingsprotocol afgesloten. 
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o 2002: invoering accreditatiestelsel: nieuw zijn eindoordelen en 

daaropvolgende accreditaties (keurmerk) met daaraan verbonden rechten. 

Oprichting NAO, in 2005 omgevormd tot de Nederlands-Vlaamse 

Accreditatieorganisatie (NVAO); 
o 2010: enkele aanpassingen in WHW met de wetswijziging Versterking 

besturing hoger onderwijs; 
o 2011: invoering nieuw accreditatiestelsel, met instellingstoets kwaliteitszorg 

en een uitgebreid en beperkt beoordelingsregime. 

Actoren 

Het accreditatiestelsel kent de volgende actoren: 
o de wetgever; 
o het accreditatieorgaan NVAO; 

o acht evaluatiebureaus, die door instellingen ingehuurd kunnen worden om 
een panel samen te stellen en de beoordeling te begeleiden. De grootste 
bureaus zijn NQA en Hobéon, die vooral het hbo bedienen, en QANU, dat het 
merendeel van de onderzoeken in het wo voor zijn rekening neemt. 
Daarnaast opereren kleinere bureaus als AeQui en Certiked VBI. 

o de Koninklijke Nederlandse Academie van Wetenschappen (KNAW), die zorgt 
voor de samenstelling van de commissie van deskundigen voor de 
beoordeling van researchmasters en beschikt over een vaste groep 
deskundigen per wetenschapsgebied. 

o de commissies van deskundigen, ook wel panels genoemd, bestaande uit 
een voorzitter en enkele leden, bijgestaan door een secretaris en bij een 
toets nieuwe opleiding (TNO) en een instellingstoets kwaliteitszorg (ITK) ook 
door een procescoördinator. Bij de op het moment van onderzoek afgeronde 
beoordelingen in het nieuwe stelsel zijn 81 verschillende voorzitters 
betrokken. Er zijn op het moment van onderzoek 193 door de NVAO 
gecertificeerde secretarissen en coördinatoren, deels verbonden aan een 
evaluatiebureau en deels zelfstandig werkend; 

o 51 bekostigde instellingen en 67 rechtspersonen voor niet-bekostigd hoger 
onderwijs. Er zijn op dit moment 3.971 bekostigde en niet-bekostigde 
opleidingen: bachelors, masters en associate degreeprogramma's (Ad's). 

Soorten beoordelingen 

In het stelsel vinden de volgende beoordelingen plaats: 

1. Toets nieuwe opleidingen (TNO), uitgebreide of beperkte beoordeling van 
bachelors, masters en Ad's, van deeltijd, voltijd en/of duaal, steeds bij een 
aanvraag voor een nieuwe opleiding. 

2. Accreditatie bestaande opleidingen (BO), eveneens uitgebreid of beperkt van 
dezelfde opleidingen en varianten, eens in de zes jaar. 

3. Instellingstoets kwaliteitszorg (ITK) van de kwaliteitszorg op 
instellingsniveau, eens in de zes jaar op vrijwillige basis. Instellingen die een 
ITK zonder voorwaarden verkregen, dan wel aan de voorwaarden hebben 
voldaan, vallen onder het regime van de beperkte beoordelingen TNO en 
BO. Dit geldt ook als overgangsregeling voor instellingen die vóór 1 april 
2011 een ITK hebben aangevraagd. In alle andere gevallen is het 
uitgebreide regime van kracht. Bij instellingen in de overgangsregeling, 
maar met een negatieve ITK, of die zich daarvoor terugtrekken, moeten de 
opleidingsbeoordelingen alsnog in het uitgebreide regime overgedaan 
worden. 

Daarnaast is er nog de: 

4. TNO of BO van een educatieve minor of een researchmaster. 

5. Beoordeling van een bijzonder (kwaliteits)kenmerk, op aanvraag van de 
instelling. 

6. Beoordeling van het recht op graadverlening voor een rechtspersoon voor 
niet-bekostigd hoger onderwijs. 
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In bijlage IV zijn de aantallen opleidingsbeoordelingen TNO en BO van 2005 tot en 
met 2011 opgenomen. 

Onderzoeksvragen 

De onderzoeksvraag luidt: wat is de kwaliteit van het accreditatiestelsel, zoals 
gedefinieerd in het toezichtkader? Anders gezegd: in hoeverre voldoet het 
accreditatiestelsel aan de tien standaarden van het toezichtkader? Dit zijn de 
standaarden: 

1: Informatievoorziening: 

De instelling en de desbetreffende opleiding worden goed en tijdig 

geïnformeerd over het proces en het beoordelingskader van de hen 

aangaande beoordelingen. 
2: Onafhankelijkheid en deskundigheid: 

De actoren in het stelsel zijn onafhankelijk van de te accrediteren 

instellingen en opleidingen en voldoende deskundig. 
3: Betrouwbaarheid en validiteit: 

De inrichting van het stelsel leidt tot betrouwbare en valide 

onderzoeksprocessen en beoordelingen. 
4: Zorgvuldigheid: 

De beoordelingen en besluiten zijn gebaseerd op zorgvuldige processen. 
5 : Kwaliteitsborging : 

De kwaliteit van het accreditatiestelsel wordt voldoende geborgd. 
6: Stimulerende werking: 

De beoordelingen stimuleren instellingen respectievelijk opleidingen in 

voldoende mate tot verbetering van de kwaliteitszorg respectievelijk de 

kwaliteit. 
7: Transparantie: 

Het accreditatiestelsel draagt in voldoende mate bij aan de bekendheid van 

de kwaliteit en het profiel en van de verschillen tussen instellingen en 

opleidingen. 
8: Accreditatie/asten: 

Het accreditatiestelsel geeft niet meer administratieve lasten dan nodig. 
9. Dekking: 

AWe opleidingsvarianten van bekostigde nieuwe en bestaande 
opleidingen die ten tijde van de beoordeling verzorgd worden, zijn 
beoordeeld, evenals alle opleidingsvarianten van niet-bekostigde 
geaccrediteerde opleidingen. Er zijn na een beoordeling geen substantieel 
afwijkende varianten van een beoordeelde opleiding ontwikkeld. 
10: Wettelijke vereisten: 

Het accreditatiestelsel voldoet aan de wettelijke vereisten. 

Op elke standaard geven we een beoordeling op de schaal: goed, voldoende, ten 
dele voldoende of onvoldoende, dan wel een 'geen oordeel'. 

Zie bijlage III voor het waarderingskader met toelichting en onderbouwing. 

Naast de hoofdvraag stellen we vijf aanvullende onderzoeksvragen, afgeleid van de 
beoogde doelen bij de invoering van het nieuwe accreditatiestelsel in 2011 (Memorie 
van Toelichting bij de WAA). De aanvullende vragen zijn: 

1. Is er in het nieuwe stelsel sprake van vermindering van de administratieve 
lasten? 

2. Wordt de kwaliteitscultuur van instellingen en opleidingen in het nieuwe stelsel 
meer gestimuleerd? 

3. Is er in het nieuwe stelsel meer focus op kwaliteit, dat wil zeggen op de inhoud 
en de resultaten van de opleidingen? 
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4. Worden verschillen in kwaliteit boven het basisniveau in het nieuwe stelsel 
zichtbaar gemaakt? 

5. Is er in het nieuwe stelsel meer maatwerk? 

Ontwikkelingsstadium van het stelsel 

De inspectie is er zich van bewust dat het nieuwe stelsel recent is ingevoerd en dat 
de vele betrokkenen nog bezig zijn de veranderingen te leren kennen en hieraan te 
wennen. De inspectie zal dit ontwikkelingsstadium bij haar overwegingen betrekken, 
waarbij het haar oogmerk is een oordeel over de 'foto' te geven (de thans 
gerealiseerde kwaliteit) vergezeld van toelichtingen waarin recht gedaan wordt aan 
het ontwikkelingsstadium. 

Uitvoering van het onderzoek 

Het onderzoek is uitgevoerd van oktober 2012 tot en met juli 2013. Het kent de 
volgende onderdelen: 

1. Gesprekken: er zijn gedurende het onderzoek gesprekken gevoerd met de NVAO 
(tweemaal) en de evaluatiebureaus NQA, Hobéon en QANU. 

2. Documenten: er is van de NVAO en van de evaluatiebureaus een grote 
hoeveelheid documenten ontvangen en bestudeerd: zie bijlage VI. 

3. Enquête onder instellingen: in maart en april 2013 is een digitale vragenlijst 
afgenomen onder instellingen en opleidingen waar een beoordeling in het 
nieuwe stelsel heeft plaatsgevonden: een instellingstoets of 
opleidingsbeoordeling. 

4. Analyse rapporten en besluiten: in een analyse van alle rapporten en besluiten 
in het nieuwe stelsel is het verband onderzocht tussen enerzijds de 
beoordelingen en het evaluatiebureau en anderzijds de beoordelingen en de 
voorzitters van de commissies van deskundigen. Ook is het verband tussen 
beoordelingen en besluiten onderzocht. 

5. Acht cases: er zijn acht cases geselecteerd voor een diepte-onderzoek: drie 
instellingen waar een ITK heeft plaatsgevonden en vijf instellingen voor een 
opleidingsbeoordeling. De cases waren verspreid over het wetenschappelijk 
onderwijs (2) het bekostigd hoger beroepsonderwijs (4) en het niet bekostigd 
hoger beroepsonderwijs (2). Bij elke casus is gesproken met functionarissen van 
de instellingen en opleidingen en van de panels. De gesprekken vonden plaats in 
april, mei en juni 2013. 

Zie bijlage III voor de verantwoording van de onderzoeksopzet. 

Resonansgroep 

Voor het onderzoek is een resonansgroep ingesteld: zie voor de samenstelling 
bijlage II. De resonansgroep kwam vier keer bijeen tussen januari en juli 2013 en 
adviseerde over de onderzoeksopzet, instrumenten, interpretatie van 
tussenresultaten en het conceptrapport. 

Opbouw van dit rapport 

We geven hierna per standaard een beoordeling met een toelichting. Daarna volgt 
een hoofdstuk met de vijf evaluatievragen en het slothoofdstuk geeft de 
eindconclusie, aanbevelingen, beschouwing en de vervolgacties van de inspectie. 
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INFORMATIEVOORZIENING 



Standaard 1: De instelling en de desbetreffende opleiding worden goed en tijdig 
geïnformeerd over het proces en het beoordelingskader van de hen aangaande 
beoordelingen. 



Conclusie 

De voorlichting aan de instellingen en opleidingen over het proces en het 
beoordelingskader van de hen aangaande accreditaties is goed. 

De betrokkenen zelf zijn in grote meerderheid tevreden over de 
informatievoorziening. De NVAO en de evaluatiebureaus ondernemen dan ook vele 
activiteiten om iedereen van wie iets verwacht wordt zo goed mogelijk te informeren. 
Een aandachtspunt is dat voor betrokkenen niet altijd duidelijk is wat er precies moet 
gebeuren bij vervolgtrajecten zoals bij een besluit onder voorwaarden of met een 
herstelperiode. 

Toelichting 

Betrokkenen zijn tevreden 

Belangrijk is dat de betrokkenen bij de beoordelingen in het nieuwe stelsel in grote 
meerderheid, namelijk tussen de 84 en 97 procent, positief zijn over de 
informatievoorziening. Vooral over de standaarden, de stappen en termijnen van het 
beoordelingsproces en de mogelijke uitkomsten en gevolgen van de beoordeling 
achten zij zich goed geïnformeerd. Er zijn hierin geen verschillen tussen de 
respondenten op centraal of decentraal niveau, noch tussen bekostigd en niet- 
bekostigd onderwijs. Wel vindt men zich in het wo beter over de standaarden 
geïnformeerd dan in het hbo. 

De NVAO en de evaluatiebureaus ondernemen vele voorlichtingsactiviteiten, 
waaronder documentatie en 'faq's' op de websites, het Q&A Magazine van de NVAO, 
intake- of regiegesprekken door zowel de NVAO (bij TNO's en ITK's) als door de 
bureaus (bij accreditaties), het beantwoorden van vragen, telefonisch of per mail, en 
trainingen van secretarissen en voorzitters van panels. Vooral op de website van de 
NVAO is veel informatie te vinden. Daar waar de voorlichting door de NVAO in de 
opvatting van de evaluatiebureaus te algemeen is, vullen de bureaus dit aan met 
uitgebreide eigen voorlichting. 

Voorlichting over de criteria 

Een wat kleiner deel van de betrokkenen, maar toch nog een meerderheid van 70 
procent, is positief over de voorlichting over de criteria en normen waarop de 
commissie en de NVAO haar oordelen baseert. In de toelichtingen die in de enquête 
gegeven werden, benoemt één op de vijf van de respondenten expliciet het gebrek 
aan duidelijkheid over de beoordelingscriteria. "De criteria die de commissie toepast, 
werden pas duidelijk in de rapportage, niet vooraf'. 

De European Association for Quality Assurance in Higher Education (ENQA) in haar 
rapport (2012) was kritisch over het ontbreken van voorlichting over de criteria die 
de NVAO hanteert om op basis van een panelrapport tot een besluit te komen. Dit 
leidt tot een 'partially complies' op de Europese standaard 2.3 ('criteria for decisions') 
( 5 ). Dit is een gevolg van een principiële keuze in het stelsel om de uitwerking van 



5 Overigens concludeerde de ENQA dat de NVAO 'acts in compliance with the ENQA 

membership regulations and is substantial compliance with the Standards and Guidelines for 
Quality Assurance in the European Higher Education Area'. Zie ook hoofdstuk 6. 
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standaarden, normen en criteria beperkt te houden. Hoofdstuk 4, over de 
betrouwbaarheid, gaat nader op deze keuze in. 

Voorlichting over de eisen van de ITK 

Uit onze cases blijkt dat de instellingen met een voorwaardelijk of negatief oordeel op 
de panelbeoordeling of het besluit voor de ITK, zelf zeer verrast waren over dat 
oordeel. Kennelijk lopen de verwachtingen uiteen over wat de toets precies 
beoordeelt, en met welke normen. Het lijkt erop dat sommige instellingen zich te 
lichtvaardig voor de toets hebben aangemeld. Dat geeft steeds grote druk op de 
panels en de instellingen en levert uiteindelijk bij een negatieve uitkomst forse 
imagoschade op. De overgangsregeling waarbij voor snelle aanmelders het beperkte 
regime mogelijk werd, nodigde wellicht uit tot een te lichtvaardige aanmelding. 

Zo leert de ervaring in andere onderwijssectoren dat bij instellingen die in een fusie 
of reorganisatie zitten of recent ondergaan hebben, of waarbij anderszins de visie op 
kwaliteit en kwaliteitsborging nog onvoldoende in de organisatie geïnternaliseerd is, 
systematische kwaliteitszorg niet goed kan functioneren. Voor goede kwaliteitszorg 
en kwaliteitscultuur is organisatorische rust onontbeerlijk. Instellingen in het hoger 
onderwijs leken aanvankelijk de eisen voor een daadwerkelijk functionerende interne 
borging te onderschatten. Zo verwachtte een instelling advies voor de verdere 
ontwikkeling van de kwaliteitszorg. Bij een startgesprek met deze aarzelende 
instelling adviseerde de NVAO, te licht, de aanvraag vooral door te zetten, met 
negatieve gevolgen. 

De eerste uitkomsten wijzen erop dat de instellingstoets tekortschietende 
kwaliteitszorg inderdaad signaleert. Van de negentien (stand 11 juni 2013) afgeronde 
aanvragen ITK zijn tien direct positief beoordeeld, twee positief onder voorwaarden 
en hebben zeven instellingen zich teruggetrokken, waarvan een na het eerste 
bezoek, drie na een negatief panelrapport en drie uit eigen beweging (in verband met 
fusie, te kleine instelling en nieuwe inzichten). 

Intussen wordt het voor instellingen steeds lastiger om zich alsnog terug te trekken, 
omdat opleidingen die in de overgangsregeling met het beperkte regime beoordeeld 
zijn, dan opnieuw beoordeeld zouden moeten worden in het uitgebreide kader. 

De NVAO heeft bij de start van de toets regelmatig voorlichting gegeven over de 
eisen van de instellingstoets door middel van bijeenkomsten, conferenties, 
trainingen, sessies voor stafdiensten, et cetera. Ook voert zij met elke instelling 
vooraf een startgesprek waarin nagegaan wordt of de instelling aan de toets toe is. 
Nu er meer ervaring met de ITK opgedaan is, is het beter mogelijk de eisen te 
verduidelijken. 

Op grond van de huidige ervaringen kan in de voorlichting nu ook de verwachting 
over lastenverlichting in het nieuwe stelsel getemperd worden. Tot nu toe is deze 
reductie immers niet opgetreden (zie hoofdstuk 12). 

Verbeteringen op onderdelen mogelijk 

Het is verder begrijpelijk dat bij een zo complex systeem als het accreditatiestelsel, 
de voorlichting op onderdelen soms beter kan. Zo signaleerden de betrokkenen in de 
cases op onderdelen tekorten: 

o het is voor niet-ingewijden niet onmiddellijk duidelijk dat een 

accreditatieaanvraag vergezeld moet gaan van een panelbeoordeling; 
o het bleek niet altijd duidelijk of een toets van de voorwaarden op papier 

plaatsvindt, dan wel een panelbezoek vergt; 
o sommigen ervaren het als lastig dat niet alle richtlijnen in één document, 

namelijk het beoordelingskader, zijn opgenomen; 
o men ontbeert soms informatie over vervolgstappen in het geval van 

voorwaarden of hersteltijd of terugtrekken bij een ITK. 
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ONAFHANKELIJKHEID EN DESKUNDIGHEID 



Standaard 2: De actoren in het stelsel zijn onafhankelijk van de te beoordelen 
instellingen en opleidingen en voldoende deskundig. 



Dit hoofdstuk beoordelen we afzonderlijk de onafhankelijkheid en deskundigheid van 
de panels. Ook gaan we in op de bestuurlijke onafhankelijkheid van het stelsel. 

Onafhankelijkheid panels 
Conclusie 

De onafhankelijkheid van de panels ten opzichte van de te beoordelen 
opleiding of instelling is goed. 

De maatregelen bij de selectie van de panels leiden tot een goede onafhankelijkheid 
van de panels en ook tot grote tevredenheid van de betrokkenen op dit punt. De 
beperkte recruteringsvijver voor peers in een klein land geeft soms discussie maar 
doet geen afbreuk aan de onafhankelijke opstelling van de panels. 

Toelichting 

Beelden en feiten 

Belangrijk is dat de ondervraagde betrokkenen zelf in overgrote meerderheid vinden 
dat zowel de leden van het panel, de secretaris, de voorzitter als de 
evaluatiebureaus zich tijdens het afgelopen accreditatieproces onafhankelijk 
opstelden ten opzichte van de instelling en de opleiding (namelijk respectievelijk 89, 
97, 92 en 85 procent, met enkele percentages niet eens/niet oneens en slechts 1 
procent oneens). Er zijn hierin geen verschillen tussen hbo en wo, tussen bekostigd 
en niet-bekostigd onderwijs en tussen respondenten op centraal en decentraal 
niveau. 

Ook in de onderzochte cases is er geen inbreuk op de onafhankelijkheid 
aangetroffen. Hoewel men in een stelsel met peerreview altijd bedacht moet zijn op 
mogelijke afhankelijkheid van de peers, hebben de betrokkenen zelf op dit punt 
geen problemen ondervonden met de panels. 

Zorgvuldige maatregelen 

Er zijn binnen het stelsel diverse maatregelen genomen om de onafhankelijkheid 
van de panelleden te waarborgen: 

o er is een heldere richtlijn 'Eisen aan de panelsamenstelling' opgesteld, te 

vinden op de website van de NVAO, met eisen aan feitelijke, maar ook aan 

de daadwerkelijk gevoelde onafhankelijkheid en aan de gevraagde 

professionele houding; 
o de samenstelling van het panel wordt door de instelling (of in mandaat door 

het evaluatiebureau) ter goedkeuring voorgelegd aan de NVAO; 
o panelleden moeten een onafhankelijkheidsverklaring tekenen, waarin staat 

dat ze geen banden met de instelling en opleiding hebben; 
o de evaluatiebureaus bewaken bij het samenstellen de onafhankelijkheid en 

deskundigheid en de NVAO checkt dit vervolgens aan de hand van de cv's 

van de panelleden; 
o er vindt twee keer per jaar uitwisseling plaats tussen de NVAO en de 

evaluatiebureaus over concrete casuïstiek. 
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Peers in een klein land 

Het werken in een peersysteem heeft belangrijk voordelen en vormt een sterke kant 
van het accreditatiestelsel. Ondanks zorgvuldige waarborgen kunnen zich niettemin 
lastige kwesties voordoen. De spoeling van vakinhoudelijk deskundigen in Nederland 
is namelijk dun. Onafhankelijkheid in de zin van 'geen banden' sluit niet uit dat zich 
verschillen in visie op de inhoud van een opleiding kunnen voordoen. Ook 
concurrentieoverwegingen zouden een rol kunnen spelen. Naar ons oordeel wordt 
echter ook hier zorgvuldig mee omgegaan. 

In één casus werd een universitaire opleiding beoordeeld door de enige andere 
Nederlandse hoogleraar op het desbetreffende vakgebied, waarbij echter naar ons 
oordeel zorgvuldig en integer geopereerd werd. Een respondent in de enquête 
bespeurde vooringenomenheid ten opzichte van het niet-bekostigde onderwijs, een 
ander zag vooringenomenheid jegens bepaalde onderwijskundige concepten (zoals 
competentiegericht onderwijs of een eigen bachelor-mastermodel). Enkelen 
signaleren het gevaar van stokpaardjes. Deze punten hebben ook steeds de volle 
aandacht van de evaluatiebureaus. Zo kan na de evaluatie van elke beoordeling een 
panellid om deze reden niet meer ingezet worden. Ook leidt juist dit visieprobleem 
er regelmatig toe dat bij de clustergewijze beoordeling van bestaande universitaire 
opleidingen het moeite kost om tot overeenstemming over de voorzitter te komen 
( 5 ). 

Verder zien we bij de instellingstoets dat vaak (oud-)collegeleden of decanen van 
andere instellingen voorzitter of lid van een panel zijn, waarbij duidelijk is dat de 
bestuurders van de hogescholen en zeker de universiteiten elkaar goed kennen. Dit 
doet hoeft geen afbreuk aan de onafhankelijkheid te doen, toch bestaat er een haast 
onvermijdelijk risico op negatieve of juist positieve vooringenomenheid. 

Voor een deel wordt het probleem van de te dunne spoeling overigens ook 
opgevangen door de aanwezigheid van buitenlandse, veelal Vlaamse panelleden. 

Onafhankelijkheid van de evaluatiebureaus 

Het is denkbaar dat de evaluatiebureaus minder onafhankelijk zijn ten opzichte van 
de instellingen. Zo worden ze betaald door de instellingen, hetgeen een 
marktafhankelijkheid creëert die van invloed zou kunnen zijn op het 
beoordelingsbeleid. Hoewel kleinere bureaus significant gunstiger oordelen (zie 
hoofdstuk 4), kan het verschil ook verklaard worden doordat kleinere bureaus, al 
dan niet toevallig, betere opleidingen beoordeeld hebben. Belangrijk is dat de 
betrokkenen zelf de opstelling van de bureaus in hun geval professioneel en 
onafhankelijk vonden. Naar ons oordeel stellen de evaluatiebureaus zich bij de 
individuele oordeelsvorming voldoende onafhankelijk op. ( 7 ) 

De NVAO is ten slotte van mening dat haar goedkeuringsbevoegdheid bijgedragen 
heeft aan meer attentie bij de instellingen voor de onafhankelijkheid. Dit wordt door 
de evaluatiebureaus waarmee wij spraken bevestigd. Uit een intern onderzoek van 
de NVAO blijkt weliswaar dat de NVAO in 2012 bij 26 procent van alle 246 
panelvoordrachten nadere vragen stelde, doch dat dit slechts eenmaal de 
onafhankelijkheid betrof. Meestal betroffen de nadere vragen administratieve 
tekortkomingen, te geringe internationale deskundigheid of een onvoldoende 
onderbouwing van de voorgestelde samenstelling. 

Onafhankelijke beoordelingen door de NVAO 

Ook de staf en bestuursleden van de NVAO stellen zich in de individuele 
besluitvormingen onafhankelijk op. Voor de beoordeling op basis van een 



6 Hierin wordt voorzien in het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs, 

waarin clustergewijze beoordeling ook in het hbo mogelijk gemaakt wordt, door de NVAO de 
bevoegdheid te geven om een panel te benoemen. 

7 In het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs wordt daarom 

voorgesteld de kosten van de panels, en dus de evaluatiebureaus, voortaan door de NVAO 
te laten betalen. 
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panelrapport heeft het bestuur maatregelen genomen om te waarborgen dat ook 
voor de toewijzing van de voorbereiding van besluiten door bestuursleden dezelfde 
criteria van 'geen binding' van toepassing zijn. 

De inspectie vindt dat, gegeven de mogelijkheden van ons kleine land, en uitgaande 
van een peersysteem, er maximaal zorgvuldig met het vraagstuk van de 
onafhankelijkheid van de commissieleden wordt omgegaan. De onafhankelijkheid 
van de individuele beoordelingen is goed. 

3.2 Deskundigheid panels 

Conclusie 

De commissies van deskundigen zijn voldoende deskundig. 

De panels zijn doorgaans op vakinhoudelijk gebied en op het gebied van de 
werkveldvereisten goed bezet. Ook de bredere optiek vanuit internationaal 
perspectief en de specifieke studentenoptiek zijn doorgaans voldoende 
vertegenwoordigd. Professionele auditervaring is door professionele voorzitters, 
secretarissen en procescoördinatoren, en door het vaker meedoen aan 
beoordelingen doorgaans eveneens voldoende aanwezig. 

Daar staat tegenover dat de deskundigheid op het gebied van didactische en 
examineringsaspecten verbeterd kan worden, evenals die met betrekking tot 
wettelijke voorschriften. Bij de instellingstoets mist regelmatig professionele 
deskundigheid met betrekking tot kwaliteitsbeleid, wat bij deze toets immers het 
vakinhoudelijk gebied vormt. 

Toelichting 

De NVAO stelt de volgende eisen aan de deskundigheid van de panels: 

'1. het panel bestaat uit ten minste vier leden, onder wie ten minste twee 

gezaghebbende domeindeskundigen en een student; 
2. het panel beschikt in zijn geheel over de volgende deskundigheden: 

a. deskundigheid ten aanzien van de ontwikkelingen in het vakgebied; 

b. internationale deskundigheid; 

c. werkvelddeskundigheid in het voor de opleiding relevante beroepenveld 
(indien van toepassing); 

d. ervaring met het geven en ontwikkelen van onderwijs op het 
desbetreffende opleidingsniveau en deskundigheid ten aanzien van de door 
de opleiding gehanteerde onderwijsvorm(en); 

e. studentgebonden deskundigheid; 

f. visitatie- of auditdeskundigheid.' 

De betrokkenen vinden vakinhoudelijke deskundigheid, werkvelddeskundigheid, 
studentgebonden deskundigheid en auditdeskundigheid in hoge mate aanwezig: op 
deze gebieden antwoordt tussen de 82 en de 91 procent positief. Wat minder 
positief is men over de deskundigheid op het gebied van door de opleiding 
gehanteerde werkvormen (60 procent positief), toetsing en examinering (73 
procent) en internationale deskundigheid (76 procent). 

Naast complimenten voor de deskundigheid van het panel, noemen de betrokkenen 
de volgende lacunes: onderwijskundige en examineringsdeskundigheid, bijvoorbeeld 
met betrekking tot competentiegericht onderwijs, juist kennisgericht onderwijs, of 
afstandsleren en deskundigheid in innovatieve thema's als duurzaamheid. 

Ook in de cases lag de nadruk op vakinhoudelijke en werkvelddeskundigheid, en was 
er geringere vertegenwoordiging van onderwijskundige en 

examineringsdeskundigheid. De vakinhoudelijke en werkvelddeskundigheid werden 
ook in de cases erg gewaardeerd. De internationale inbreng varieerde. 
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Uit intern onderzoek van de NVAO komt naar voren dat de samenstelling van de 
panels kan verschillen per evaluatiebureau. De werkvelddeskundigheid is volgens dit 
onderzoek beperkt in de panels van één bureau. Twee andere bureaus zetten 
regelmatig eigen auditors in die daarmee volgens de interne notitie het aantal 
domein- en onderwijsdeskundigen verdringen. Ook is volgens de NVAO de 
onderwijsdeskundigheid niet altijd goed geborgd waardoor diepgaande didactische 
kennis niet altijd in voldoende mate aanwezig is. In de cases zagen wij voorbeelden 
van panels die dit beeld illustreren. 

De evaluatiebureaus geven aan dat de expertise van de eigen voorzitter aanvullend 
is en zeker de werkveld- en vakinhoudelijke deskundigheid niet verdringt. 

Waar verder door ons in de enquête en ook in het NVAO-onderzoek niet naar 
gevraagd is, maar blijkens de cases en gesprekken met de evaluatiebureaus in de 
meeste panels ontbreekt, is deskundigheid op het gebied van wet- en regelgeving. 
En dan gaat het niet om kennis van alle wettelijke voorschriften, maar enkel om die 
bepalingen die rechtstreeks de kwaliteit van de opleiding raken, zoals bijvoorbeeld 
studielast, OER en examinering of om het verschil in wettelijke vereisten aan 
bekostigd en niet-bekostigde onderwijs. Hier is bij de samenstelling niet altijd 
voldoende aandacht voor. 

De bureaus geven overigens aan dat ze ook op de niet in de criteria genoemde 
deskundigheden letten, mede door de inzet van professionele voorzitters. Volgens 
hen zijn alle deskundigheden voldoende vertegenwoordigd. 

Bij de panelsamenstelling voor de instellingstoets gaat men ervan uit dat 
deskundigheid op het gebied van kwaliteitszorgbeleid voldoende gerepresenteerd 
wordt door leden die uitgebreide praktijkervaring hebben met kwaliteitszorg in hoger 
onderwijsinstellingen. Hier is het risico aan verbonden dat men te weinig afstand 
neemt van 'zoals het nu eenmaal in onze wereld loopt.' Veelvuldig voorkomende, en 
algemeen geaccepteerde onvolkomenheden kunnen dan te gemakkelijk als norm 
gelden. Een professionele of internationale bijdrage kan deze relativering van de 
norm tegengaan. Bij deze panels is de internationale inbreng altijd aanwezig. 

3.3 Bestuurlijke onafhankelijkheid stelsel 

Naast de onafhankelijkheid van de oordeelsvorming, is ook de vraag van belang in 
hoeverre de actoren in hun bestuurlijke beleidsvorming onafhankelijk zijn ten 
opzichte van enerzijds de overheid en anderzijds het onderwijsveld. Juist met het 
oog op een grotere onafhankelijkheid is het accreditatiestelsel immers losgemaakt 
van de koepels, na het door henzelf beheerde visitatiestelsel. 

Wat betreft de relatie met de overheid: de NVAO valt onder het Comité van 
Ministers (van Vlaanderen en Nederland) en is in Nederland gepositioneerd als een 
zelfstandig bestuursorgaan (ZBO). Binnen de gedetailleerde kaders van het stelsel 
die door de wetgever in de Wet op het hoger onderwijs en wetenschappelijk 
onderzoek (WHW) zijn voorgeschreven, vindt daarmee de concrete oordeels- en 
besluitvorming in het stelsel voldoende onafhankelijk van de overheid plaats. 

Wat betreft de relatie met het onderwijsveld is er sprake van een nauwe 
verwevenheid. Voordat de minister van OCW een voordracht voor bestuursleden van 
het accreditatieorgaan doet aan het Comité van Ministers, moeten volgens de WHW 
eerst de gezamenlijke instellingen (VSNU, Vereniging Hogescholen en NRTO), 
studentenorganisaties en vakorganisaties worden gehoord. Het bestuur van QANU, 
het evaluatiebureau dat voortgekomen is uit de VSNU en dat vooral in het 
wetenschappelijk onderwijs actief is, bestaat uit personen uit de universitaire wereld 
(geen CvB-leden). 

Deze bestuurlijke bindingen bij enkele actoren dragen ongetwijfeld bij aan het grote 
draagvlak voor het stelsel. Tegelijk zijn de actoren daarmee in hun beleid in zekere 
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mate gevoelig gebleven voor beïnvloeding van beleid vanuit het onderwijsveld. 
Beleidsvraagstukken zoals bijvoorbeeld het primaat van de waarborgfunctie versus 
de stimuleringsfunctie, de gestrengheid van normen, de wijze van publiek maken 
van uitkomsten, kunnen in de bestuurlijke afweging te maken krijgen met 
beïnvloeding vanuit het te beoordelen onderwijsveld. Dit geeft een risico op een 
zekere mate van Verkleving' ( 8 ) of 'capturing' ( 9 ). 

Een voorbeeld: het stelsel heeft tot nu toe maar weinig overzichtspublicaties 
opgeleverd waarin de sterke en zwakke kanten van beoordeelde, met name 
genoemde opleidingen, voor het publiek op transparante wijze zichtbaar zijn (zie 
hoofdstuk 8). Het wordt aan de instellingen overgelaten of dergelijke publicaties 
verschijnen. Zo is de publicatie door QANU van een state of the art-overzicht over 
de opleidingen Rechtsgeleerdheid in 2012 door enkele universiteiten 
tegengehouden. 

We zijn ons er van bewust dat Nederland gekenmerkt wordt door veel overleg en 
vele lijnen van beïnvloeding: het poldermodel. Hierbinnen dienen juist 
toezichthouders extra waakzaam te zijn voor het behoud van de eigenstandige 
positie. De NVAO en de evaluatiebureaus zien voldoende waarborgen om 
bestuurlijke beïnvloeding te voorkomen. Zo ziet de NVAO grote variatie in 
opvattingen tussen de koepels onderling en de andere te raadplegen organisaties, 
en wijst zij op het internationale karakter van het bestuur. 

We benadrukken hier dat de verwevenheid geen effect heeft op de oordeelsvorming 
van de afzonderlijke panels: de onafhankelijkheid daarvan is immers goed geregeld 
(zie 3.1). 

Al met al zien we een zekere bestuurlijke verwevenheid bij actoren in het stelsel met 
het te beoordelen onderwijsveld. De keus die in het stelsel onder andere door de 
wetgever gemaakt is voor sterk draagvlak door het creëren van nauwe banden is 
begrijpelijk en goed te verdedigen. Hier hoeft niet aan getornd te worden. Het is 
voor de effectiviteit gunstig dat het onderwijsveld het accreditatiestelsel als 'ons 
stelsel' beschouwt. Tegelijk is daaraan het risico verbonden dat in strategische 
vraagstukken door actoren te weinig afstand genomen kan worden. Dit raakt niet de 
afzonderlijke beoordelingen: deze vinden in goede onafhankelijkheid plaats. 



8 Doctors van Leeuwen, 2002 

9 Hoogenboom, 2011 
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BETROUWBAARHEID EN VALIDITEIT 



Standaard 3: De inrichting van het stelsel leidt tot betrouwbare en valide 
onderzoekprocessen en beoordelingen. 



Betrouwbaarheid is de mate waarin verschillende beoordelaars van eenzelfde 
situatie tot hetzelfde oordeel komen. Validiteit betreft de vraag of gemeten wordt 
wat men wilde meten, het is de dekking van de meetlat. 

De twee elementen in deze standaard behandelen we apart. Daarnaast gaan we in 
4.3 in op de normstelling, wat nauw met deze standaard verbonden is. 

Betrouwbaarheid 

Conclusie 

De vraag of de inrichting van het stelsel in voldoende mate tot betrouwbare 
onderzoeksprocessen en beoordelingen leidt, is momenteel, ondanks enkele 
aanwijzingen, nog niet te beantwoorden. 

De geringe differentiatie in de uitkomsten, de afwezigheid van replicatieonderzoek 
en het gebrek aan vergelijking met andere kwaliteitsindicatoren bemoeilijken op dit 
moment een goede uitspraak over de betrouwbaarheid van het stelsel. 
Door het geringe aantal negatieve beoordelingen is het technisch nu niet mogelijk 
om een goede betrouwbaarheidsanalyse uit te voeren. Overigens hebben we geen 
aanwijzingen gevonden voor belangrijke verschillen in de eindoordelen (cesuur 
voldoende - onvoldoende) tussen de evaluatiebureaus. Wel zien we verschillen 
tussen bureaus in de oordelen op enkele standaarden, evenals in de differentiatie 
boven de 'voldoende'. Er zijn echter te veel technische beperkingen om tot een 
goede uitspraak te komen. 

Toelichting 

Leidt elke beoordeling van een opleiding tot dezelfde uitkomst? 
Hier is de vraag aan de orde in hoeverre herhaalde beoordelingen van een situatie 
steeds tot hetzelfde oordeel zouden leiden. Cruciaal voor de betrouwbaarheid is dat 
er geen invloed mag zijn van de selectie van beoordelaars op de uitkomst van de 
beoordeling. Deze beoordelaars kunnen het evaluatiebureau (alleen bij de 
beoordeling van een bestaande opleiding), dan wel voorzitter, secretaris of leden 
van het panel zijn. 

Gemis aan replicatieonderzoek en andere kwaliteitsindicatoren 
De analyse van de betrouwbaarheid is door het grote aantal betrokkenen in het 
stelsel niet eenvoudig. Een zuivere manier om dit te analyseren is immers om 
dezelfde opleiding op hetzelfde moment door verschillende beoordelaars te laten 
onderzoeken zonder dat ze elkaar beïnvloeden. 

Bij gesprekken op een opleiding is een dergelijk herhalingsonderzoek echter weinig 
zinvol doordat de gesprekken met een eerste panel direct die met het tweede panel 
zouden beïnvloeden. Aangezien dit bovendien bij een behoorlijk aantal opleidingen 
zou moeten gebeuren, zou dit bovendien een onevenredige belasting voor de 
instellingen met zich meebrengen. 

Door het ontbreken van replicaties is onbekend of verschillen tussen beoordelaars, 
ook al zijn ze door grote aantallen significant, verklaard kunnen worden door 
verschillen in daadwerkelijke kwaliteit. 
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Een andere mogelijkheid kan zijn een vergelijking te maken tussen 
opleidingsoordelen met andere kwaliteitsindicatoren per opleiding zoals tevredenheid 
studenten, tevredenheid werkveld of bijvoorbeeld studiesucces. Dit is noch in het 
stelsel, noch door ons uitgevoerd. 

Betrouwbaarheid eindoordelen onbekend 

Door het nog geringe aantal negatieve beoordelingen in de beperkte periode dat het 
nieuwe stelsel functioneert, is het technisch niet mogelijk om goede uitspraken te 
doen over de betrouwbaarheid van de cesuur bij de eindoordelen tussen 
onvoldoende aan de ene kant en voldoende/goed/excellent aan de ander kant. Dus 
om de cesuur tussen wel of geen behaalde TNO, ITK of accreditatie. 

Uit onze analyse van alle 239 beoordelingen bij 186 opleidingen en bijbehorende 
besluiten in het nieuwe accreditatiestelsel blijkt dat er in de cesuur onvoldoende 
versus voldoende/goed/excellent op de eindoordelen geen significante samenhang is 
met het evaluatiebureau. Door het tot nu toe in het nieuwe stelsel geringe aantal 
negatieve beoordelingen, namelijk drie procent ( 10 ) zegt dit echter weinig. Daarbij 
speelt ook een rol dat terugtrekkingen uit de aanvraagprocedure weliswaar ook als 
een negatieve uitkomst bestempeld kunnen worden, maar in deze analyse niet 
meegenomen kunnen worden aangezien hier geen oordelen bekend zijn. 
Dit levert derhalve geen voldoende indicatie voor de betrouwbaarheid op. 

Betrouwbaarheid differentiatie in eindoordelen 

Ook hier zijn er door het geringe aantal beoordelingen excellent geen conclusies te 
trekken. Wel zijn er in de absolute aantallen excellent verschillen tussen de bureaus. 
Als dit patroon zich ook bij grotere aantallen voor blijft doen, zouden deze 
verschillen significant kunnen worden. 

Ook in de cesuur voldoende - goed is er nu door de te geringe aantallen nog geen 
betrouwbare uitspraak te doen. 

Betrouwbaarheid oordelen op standaarden 

Dit ligt anders op standaardniveau, hier zijn in de verschillende categorieën 
voldoende aantallen. Bij de beperkte opleidingsbeoordeling geeft Hobéon op 
standaard 1 (beoogde eindkwalificaties) een significant hoger oordeel dan QANU, bij 
de andere twee standaarden is er geen verschil. Bij de uitgebreide beoordelingen 
met zestien standaarden blijkt Hobéon significant hoger te scoren op de standaarden 
8 (doeltreffend personeelsbeleid) en 9 (gekwalificeerd personeel), terwijl op 
standaard 11 (huisvesting en materiële voorzieningen) NQA juist positiever oordeelt 
(bij de uitgebreide beoordelingen zijn alleen deze laatste twee bureaus met elkaar 
vergeleken). 

Verder doen zich significante verschillen voor op de oordelen voldoende en goed op 
standaardniveau. Bij de beperkte beoordeling van de bestaande opleiding geeft 
AeQui vaker het oordeel goed dan de andere bureaus. Bij de uitgebreide beoordeling 
geven AeQui en Certiked VBI vaker het oordeel goed. Deze kleine bureaus oordelen 
significant positiever dan de grotere. 

Betrouwbaarheid voorzitters 

Uit de cases blijkt dat de voorzitters in beginsel grote invloed op de beoordelingen 
zouden kunnen hebben. Meer dan de secretarissen of de procescoördinatoren, die 
immers in de besluitvorming formeel, maar ook in de praktijk nauwelijks tot geen rol 
spelen. De voorzitters worden in sommige gevallen door de instelling voorgedragen. 
Een aantal bureaus werkt met een eigen auditor als voorzitter in plaats van met een 
peer als voorzitter. Dit laatste kan ten koste gaan van de vak- en 



ïo Het gaat hierom negatieve oordelen zoals in gepubliceerde panelrapporten in het nieuwe 
stelsel. Oordelen in rapporten voor aanvragen die teruggetrokken zijn, zijn hier niet 
meegerekend. 
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onderwijsdeskundigheid - wat overigens niet perse zo hoeft te zijn, maar kan de 
betrouwbaarheid van de oordelen ten goede komen (zie ook hoofdstuk 12). 

We gingen na of in de rapporten in het nieuwe stelsel samenhang bestaat tussen de 
voorzitter en het eindoordeel. We beperkten ons in de analyse tot vier voorzitters 
die tien of meer beoordelingen hebben uitgevoerd. De keuze van voorzitter blijkt 
niet van invloed te zijn op het eindoordeel onvoldoende versus de andere oordelen. 
Maar ook hier geldt dezelfde beperking door de te kleine aantallen. Wel is er 
samenhang met de differentiatie in oordelen: twee van de vier voorzitters (van twee 
verschillende bureaus) geven significant vaker een oordeel goed dan de andere 
twee. Niet bekend is of zij, al dan niet bij toeval, ook betere opleidingen 
beoordeelden. 

Een ander probleem voor een betrouwbaarheidsanalyse is dat veel voorzitters maar 
een of enkele keren optreden. Van de 81 voorzitters in deze periode treden er 36 
eenmaal op, twintig doen het tweemaal, nog eens twintig worden tussen de drie en 
de negen keer ingezet en er zijn vijf die tien of meer commissies leiden. Daarbij kan 
het ook om apart beoordeelde varianten of vestigingen van één opleiding gaan. Dit 
maakt niet alleen het waarborgen van consistentie lastig, het evalueren van de 
onderlinge betrouwbaarheid wordt bij deze groep vrijwel onmogelijk. 

Betrouwbaarheid besluiten 

Het paneloordeel is niet het besluit. Het is een advies aan de NVAO, namelijk bij de 
toets nieuwe opleiding en de instellingstoets, of een onderbouwing van de 
accreditatieaanvraag van de instelling. Het accreditatieorgaan heeft in alle situaties 
een eigen beslissingsbevoegdheid. In haar besluit kan zij de paneloordelen 
overnemen of aanpassen. In hoeverre beïnvloedt dit de betrouwbaarheid van de 
beoordelingen in de besluiten? 

Het blijkt dat de NVAO in de onderzochte periode in het nieuwe stelsel bijna alle 
eindoordelen over opleidingen over heeft genomen. Slechts drie keer kwam zij tot 
een afwijkend eindoordeel over een opleiding. Dit betreft drie hbo-opleidingen die in 
één rapport beoordeeld zijn en waar het onderzoek door AeQui is uitgevoerd. De 
NVAO kwam in haar besluit tot een voldoende terwijl het panelrapport een goed 
meldt. 

Overigens vraagt de NVAO regelmatig aanvullende informatie of voert zij nog 
gesprekken met het panel alvorens een besluit te nemen. De NVAO gaat niet 
lichtvaardig met haar beslissingsbevoegdheid om. 

Bij de afgeronde instellingstoetsen is de NVAO tot nu toe in twee van de elf toetsen 
van een oordeel op een standaard afgeweken. 

Al met al wijkt de NVAO zo weinig van een beoordeling af dat dit geen invloed op de 
betrouwbaarheid kan hebben. 

Mening betrokkenen over de betrouwbaarheid 

De helft van de respondenten heeft geen oordeel over de betrouwbaarheid van de 
beoordelingen (N=98), wat verklaard kan worden doordat rapporten van andere, 
vergelijkbare opleidingen weinig gelezen worden. Van de andere helft die hier wel 
een mening over heeft, vindt 72 procent dat de standaarden door de commissie op 
dezelfde wijze zijn toegepast bij dezelfde of verwante opleidingen aan andere 
instellingen, vindt 8 procent van niet en antwoordt 20 procent neutraal. 

De volgende citaten illustreren de diverse opvattingen hierover: 

'Onze opleidingen zijn geaccrediteerd in een tijdsbestek waarin aanverwante 
opleidingen ook beoordeeld zijn. Het delen van de uitkomsten na afloop 
bevestigt het beeld dat er betrouwbaar is beoordeeld. ' 
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'Over de betrouwbaarheid heb ik geen opmerkingen, want die is mijns 
inziens prima in orde. ' 

'Door het ontbreken van objectieve wegingscriteria voor de beoordeling, is 
er sprake van willekeur. Dat levert niet alleen frustratie op bij opleidingen en 
instellingen, maar is vooral zeer schadelijk voor de betrouwbaarheid en 
beeldvorming van het stelsel. ' 

Ervaringen met verschillend oordeel bij gelijke situaties 
Wij kwamen in onze gesprekken een instelling tegen die van mening is dat 
opleidingen uit faculteiten of scholen waar bepaalde zaken identiek geregeld zijn, 
toch op deze punten door de panels verschillend beoordeeld zijn ( n ). Dit leidt tot 
twijfels aan de betrouwbaarheid. Hier moet echter bedacht worden dat het goed 
mogelijk is, dat weliswaar op hoofdlijnen zaken identiek geregeld kunnen zijn, maar 
dat toch in de uitvoering cruciale verschillen bestaan. Het bestuur of de afdeling 
kwaliteitszorg hoeft daar niet altijd van op de hoogte te zijn. Deze verschillen in 
uitvoering kunnen verschillen in de beoordeling verklaren. 

Alleen bij nauwkeurige analyse valt na te gaan of verschillende oordelen van op het 
oog gelijke situaties op onbetrouwbaarheid duiden dan wel op daadwerkelijke 
verschillen gebaseerd zijn. De NQA meldde ons dat dit bij een dergelijke door hen 
uitgevoerde analyse bij ogenschijnlijk gelijke situaties inderdaad het geval bleek: de 
uitvoeringspraktijk bleek wezenlijk te verschillen. Het hogere management en de 
afdeling kwaliteitszorg waren hiervan niet op de hoogte. 

Maatregelen om de betrouwbaarheid te waarborgen 

Betrouwbaarheid in de zin van consistentie tussen de beoordelaars kan in het 
algemeen op twee manieren bevorderd worden. De eerste route is via 
instrumentering: nadere voorschriften, precisering van criteria, scorevoorschriften, 
et cetera. De tweede route is via vorming van consensus onder de beoordelaars. In 
het accreditatiestelsel is zowel door de wetgever als door de NVAO met nadruk 
gekozen voor de tweede route. Er is niet gekozen voor gedetailleerde precisering 
van criteria teneinde het inhoudelijke gesprek tussen de commissie en de opleiding 
dan wel instelling te bevorderen, de panels voldoende ruimte te geven om recht te 
doen aan de aangetroffen situatie en bovendien geen extra administratieve lasten te 
laten ontstaan. 

Dit vormt een belangrijk uitgangspunt van het Nederlandse stelsel, namelijk dat de 
standaarden 'open en breed' van karakter zijn. De voorlichting over de criteria en 
normen beperkt zich daarom tot een korte toelichting op de criteria en beslisregels 
in de beoordelingskaders. Hierin staat verder, ook vastgelegd in een Algemene 
Maatregel van Bestuur, wat men onder de eindoordelen excellent, goed, voldoende 
of onvoldoende dient te verstaan. Het voordeel van een meer open benadering acht 
de NVAO aanzienlijk groter dan het nadeel van een grotere onzekerheid bij de 
instellingen en opleidingen en het risico op minder betrouwbaarheid en consistentie. 
In de cases blijken de betrokkenen het hiermee eens te zijn. 

De NVAO heeft volgens de Memorie van Toelichting bij de WAA (2009, zie bijlage V) 
de taak toe te zien op het uniforme gebruik van de beoordelingskaders. Het 
bewaken van de consistentie vergt voor de besluitvorming van de panels en die van 
de NVAO verschillende maatregelen. 

Bij de panelbeoordeling bij de TNO en ITK ligt zowel de panelsamenstelling, het 
secretariaat als de procescoördinatie in handen van het bureau van de NVAO zelf. 
De consistentie wordt bevorderd door, zeker bij de aanvang van de ITK, beperking 
van het aantal stafleden dat secretariaat en procescoördinatie voert, clustergewijze 



11 Zie ook 'Universiteiten morren over accreditatie'. In: Hoger Onderwijs Persbureau. 
Nieuwsbrief. Maandag 24 juni 2013. 
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taakverdeling van teams binnen het NVAO-bureau en intern overleg en consultatie 
(second opinion) indien nodig. 

Bij de panelbeoordeling bij de accreditatie van bestaande opleidingen doen 
instellingen voorstellen voor de samenstelling van de commissies en organiseren de 
evaluatiebureaus het secretariaat en de procesbewaking. Hier beoogt de NVAO de 
consistentie te waarborgen door instructies en scholingen. Voor alle beoordelingen 
dienen jaarlijkse scholingen van secretarissen en regelmatige scholingen van 
voorzitters de consistentie te bevorderen. De evaluatiebureaus denken niet dat deze 
scholingen veel bijdragen aan de consistentie in beoordelingen. De NVAO heeft 
onlangs de voorzitters van de ITK's bijeengeroepen om tot meer consensus te 
komen. 

Evaluatiebureaus vullen de maatregelen van de NVAO aan met handleidingen en 
scholingen voor de eigen voorzitters en secretarissen. Daarmee beogen zij de 
consistentie van de onder hun regie uitgevoerde beoordelingen te bevorderen. 

Voorts zijn waarborgen door werkwijzen van de panels steeds gebruikelijker, zoals 
het eerst onafhankelijk van elkaar een oordeel geven en het vier-ogenprincipe bij 
het beoordelen van werkstukken. 

Bij de besluitvorming op basis van panelrapporten door het NVAO-bestuur bevordert 
de NVAO de consistentie door de volgende maatregelen: 

o Er is een gestandaardiseerde benadering voor de analyse van de paneloordelen. 

De belangrijkste vraag daarbij is: is de conclusie goed navolgbaar? 
o Als een beleidsmedewerker twijfels heeft, kan een tweede behandelaar 

geconsulteerd worden, 
o Alle besluiten met de panelrapporten worden in het bestuur behandeld. De 

bestuursleden hebben een portefeuille met een bepaald domein van opleidingen. 

Dit bevordert de consistentie van de besluiten binnen het betreffende domein en 

biedt compensatie voor het ontbreken van een clustergewijze beoordeling in het 

hbo. 

o Bij de beoordelingen bij TNO en ITK spreekt de NVAO standaard met de 

voorzitter en secretaris van het panel, waarbij een toelichting op de beoordeling 
gevraagd wordt. 

Ook kan de NVAO een verificatieonderzoek instellen, bijvoorbeeld bij een afwijkend 
oordeel; dit komt echter volgens de NVAO nauwelijks voor. Sinds de invoering van 
de hersteltermijn is volgens de NVAO minder verificatie nodig omdat er nog een 
volgende onderzoeksronde kan komen. 

Conclusie maatregelen 

Wij onderschrijven de keus voor open standaarden, waarbij de toelichtingen op de 
standaarden overigens wel erg kort zijn. Terecht zijn er diverse maatregelen 
genomen om - daarvan uitgaande - de betrouwbaarheid te vergroten, vooral 
gericht op consensus tussen de beoordelaars. 

Ondanks deze maatregelen vindt er in het stelsel door de actoren nog te weinig 
systematische bewaking en bevordering van de betrouwbaarheid van de 
panelbeoordelingen plaats. Onlangs analyseerde de NQA voor het eerst de 
verschillen in oordelen tussen de bureaus. Ook namen de NQA en Hobéon initiatief 
tot meer onderlinge consensus. De NVAO is onlangs ook gestart met dergelijke 
analyses. De borging van de betrouwbaarheid behandelen we in hoofdstuk 6: 
kwaliteitsborging. 
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4.2 



Validiteit 



Conclusie 



De accreditatiestelsel voldoet ten dele aan de validiteit van 
onderzoeksprocessen en beoordelingen. 

Voor ons oordeel zijn twee overwegingen van belang. De eerste overweging is dat in 
de feitelijke beoordeling enkele relevante kwaliteitsaspecten onderbelicht zijn. Het 
gaat hier vooral om de didactische vaardigheden van docenten in de praktijk, de 
kwaliteit van het werkplekleren en studiesucces. 

De tweede overweging is dat ondanks de officiële nadruk op het beoordelen van de 
gerealiseerde kwaliteit (de 'foto'), we diverse voorbeelden zien waarbij nog niet 
gerealiseerde voornemens (de 'film') in het oordeel meewegen of het zelfs bepalen. 
De beoordelingskaders en het beleid tot versterking van de stimulerende functie van 
het stelsel versterken de ambiguïteit hierover bij betrokkenen. Er heersen 
verschillende opvattingen en soms misverstanden over het mogelijk bestendigende 
karakter van momentopnames. 

Toelichting 

Hier is de vraag aan de orde in hoeverre er beoordeeld wordt wat beoogd wordt. 
Blijven geen belangrijke elementen van kwaliteit onbeoordeeld? En vervolgens de 
vraag of er geen zaken beoordeeld worden die niet op de gerealiseerde kwaliteit of 
kwaliteitszorg maar op iets anders betrekking hebben. 



A. Dekking van het begrip kwaliteit 



Wat wordt beoordeeld? 

De beoordelingskaders beschrijven wat de verschillende beoordelingen dienen te 
beoordelen. De onderwerpen en standaarden zijn afgeleid van de WHW, die hier in 
artikel 5a voorschriften voor geeft. 

De uitgebreide beoordeling van bestaande opleidingen is gericht op zes vragen: 

1. Wat beoogt de opleiding? 

2. Met welk programma? 

3. Met welk personeel? 

4. Met welke voorzieningen? 

5. Hoe wil de opleiding de kwaliteit borgen? 

6. Worden de doelstellingen bereikt? 

Deze zes vragen zijn vertaald in zes onderwerpen en 16 standaarden ( 12 ). 

De beperkte beoordeling van bestaande opleidingen is gericht op de volgende 
vragen: 

1. Wat beoogt de opleiding? 

2. Hoe realiseert de opleiding dit? 

3. Worden de doelstellingen bereikt? 

Deze drie vragen zijn vertaald in drie standaarden ( 13 ). 

Voor de uitgebreide toets van nieuwe opleidingen dienen de volgende vragen 
beantwoord te worden: 

1. Wat beoogt de opleiding? 

2. Met welk programma? 



12 Zie hiervoor het beoordelingskader: 
http://www.nvao.net/paqe/downloads/DEFINITIEVE KADERS OPLEIDINGSBEOORDELING 
UITGEBREID 22 november 2011.pdf 

13 Zie het beoordelingskader: 
http://www.nvao.net/paqe/downloads/DEFINITIEVE KADERS OPLEIDINGSBEOORDELING 
BEPERKT 22 november 2011.pdf 
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3. Met welk personeel? 

4. Met welke voorzieningen? 

5. Hoe wordt de kwaliteit geborgd? 

6. Hoe wil de opleiding dit toetsen? 

7. Zijn er voldoende financiële middelen? 

Deze zeven vragen zijn vertaald in zeven onderwerpen en 16 standaarden. 

De beperkte toets voor nieuwe opleidingen is gericht op de volgende vragen: 

1. Wat beoogt de opleiding? 

2. Hoe wil de opleiding dit realiseren? 

3. Hoe wil de opleiding dit toetsen? 

4. Zijn er voldoende financiële middelen? 
Deze vier vragen zijn vertaald in vier standaarden ( 14 ). 

De instellingstoets kwaliteitszorg tenslotte dient de volgende vragen te 
beantwoorden: Hanteert het bestuur van een instelling vanuit zijn visie op de 
kwaliteit van het onderwijs een doeltreffend systeem van kwaliteitszorg waarmee 
het de kwaliteit van de aangeboden opleidingen kan garanderen? In essentie gaat 
het bij de instellingstoets kwaliteitszorg om vijf samenhangende vragen: 

1. Wat is de visie van de instelling op de kwaliteit van haar onderwijs? 

2. Hoe wil de instelling deze visie realiseren? 

3. Hoe meet de instelling in hoeverre de visie wordt gerealiseerd? 

4. Hoe werkt de instelling aan verbetering? 

5. Wie is waarvoor verantwoordelijk? 

Deze vijf vragen zijn vertaald in vijf standaarden ( 15 ). 

Daarmee volgen de kaders de wettelijke voorschriften. 
Het formele en het publieke begrip kwaliteit 

Bij het beantwoorden van de validiteitsvraag zijn twee benaderingen mogelijk: de 
formele benadering: het stelsel dient te beoordelen wat de wetgever heeft 
voorgeschreven. 

Een andere benadering is om uit te gaan van een breder kwaliteitsbegrip, namelijk 
kwaliteit zoals gedefinieerd door de stakeholders (studenten, afnemend 
(internationale) werkveld, de overheid, andere belanghebbenden) onder toetsing 
door de instelling aan eigen waarden en normen. In deze benadering staan de 
verwachtingen die de stakeholders, en breder: de samenleving, hebben van de 
externe kwaliteitsborging in het hoger onderwijs centraal. 

Het belang voor het stelsel van deze benadering is dat als het stelsel onvoldoende 
beoordeelt wat er in de samenleving verwacht wordt, er een risico voor het 
maatschappelijk draagvlak ontstaat. Bij incidenten kunnen er legitimeringsvragen 
opgeroepen worden: meet het stelsel eigenlijk wel alle belangrijke zaken? Dat het 
doet wat de wet vraagt, is dan geen bevredigend antwoord. Het is daarom in het 
belang van het accreditatiestelsel om niet alleen naar de wet te kijken en de formele 
benadering te volgen, maar steeds ook de publieke verwachting in het oog te 
houden. Van belang is daarbij dat de wet die ruimte ook biedt, door bij de 
opsomming van beoordelingscriteria voor de uitgebreide en beperkte beoordeling 
van nieuwe en bestaande opleidingen te stellen dat hier "ten minste' aandacht aan 
besteed moet worden ( 16 ). 



14 Zie voor de standaarden van de beperkte en uitgebreide toets nieuwe opleidingen: 
http://www.nvao.net/paqe/downloads/DEFINITIEVE KADERS TOETS NIEUWE OPLEIDING 

22 november 2011.pdf 

15 Zie hiervoor het beoordelingskader: 
http://www.nvao.net/paqe/downloads/DEFINITIEVE KADERS INSTELLINGSTOETS 22 nov 
ember 2011.pdf 

16 WHW artikelen 5a. 8, 5a. 10a, 5a.l3f en g. 
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Een voorbeeld van een discrepantie tussen het formele oordeel en de publieke 
verwachtingen deed zich in 2012 voor rond de beoordeling van de opleidingen 
Rechtsgeleerdheid. Deze accreditaties riepen bij pers en politiek vragen op gezien 
zowel de lage staf-student ratio als de lage studierendementen. Een citaat: 'Met zo 
weinig docenten is het misschien geen wonder dat het studiesucces aan de 
rechtenopleidingen bijzonder laag is. Veel studenten haken af of halen helemaal 
geen diploma. Een 'aandachtspunt' heet dat in de rapporten.' ( 17 ). Dit voorbeeld laat 
zien dat het accreditatiestelsel zich niet alleen tot de wet, maar ook tot de publieke 
verwachting te verstaan heeft. 

De inspectie wil om deze reden voor de validiteitsvraag niet alleen de formele 
benadering, maar ook de publieke verwachtingen als maatstaf hanteren. Daarmee 
ontstaat extra bewijslast: waaraan kunnen deze verwachtingen ontleend worden? 
Wij lichten dat hierna per aspect toe. 

Onderbelichte aspecten van kwaliteit 

De volgende kwaliteitsaspecten zijn in de kaders en in de feitelijke beoordelingen 
onderbelicht. 

1. De didactische vaardigheden van de docenten 

De wet schrijft voor dat in zowel het beperkte en het uitgebreide regime "de kwaliteit 
en kwantiteit van het ingezette personeel' onderzocht moet worden. 

In de Memorie van Toelichting bij het wetsvoorstel Versterking kwaliteitswaarborgen 
hoger onderwijs wordt hieraan toegevoegd: "Naast de aanpassingen die 
wetswijziging vergen, heeft NVAO ook een aantal aanpassingen in haar werkwijze 
doorgevoerd. De belangrijkste zijn: (...); de commissies van deskundigen zullen als 
onderdeel van hun beoordeling van de opleiding colleges dan wel andere 
onderwijsactiviteiten bijwonen om in de praktijk te ervaren op welke wijze onderwijs 
wordt gegeven en zich aldus een concreet beeld te vormen van het gehanteerde 
didactische model. Deze wijzigingen worden vastgelegd in het accreditatiekader. ' 

Hier is duidelijk dat de wetgever een realiteitstoets van de didactische vaardigheden 
veronderstelt. Gesteld wordt dat de NVAO deze reeds heeft doorgevoerd. 
Aangenomen kan worden dat dit bovendien overeenkomt met de verwachting van 
stakeholders en met name de studenten. Voor hen staat of valt de kwaliteit van een 
opleiding met de didactische vaardigheden van de docenten in de praktijk. 

In het uitgebreide beoordelingskader staat als standaard 9: "Het personeel is 
gekwalificeerd voor de inhoudelijke, onderwijskundige en organisatorische 
realisatie van het programma'. De toelichting vermeldt: "De feitelijk bij het 
personeel aanwezige expertise sluit aan bij de eisen gesteld aan een hbo- of een 
wo-opleiding. ' 

In het beperkte beoordelingskader staat bij standaard 2: "Het programma, het 
personeel en de opleidingsspecifieke voorzieningen maken het voor de instromende 
studenten mogelijk de beoogde eindkwalificaties te realiseren. ' In de toelichting 
staat: '(■■■) De kwaliteit van het personeel en van de opleidingsspecifieke 
voorzieningen is daarbij essentieel. Programma, personeel en 

voorzieningen vormen een voor studenten samenhangende onderwijsleeromgeving. ' 

In de beoordelingskaders staat hier verder over: "Het panel kan tevens in overleg 
met de opleiding colleges of andere onderwijsleersituaties bezoeken.' 



17 Hoger Onderwijs Persbureau: Genade-zesjes voor rechtenopleidingen. Nieuwsbrief. Maandag 
2 april 2012 
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Het blijkt dat door de werkwijze van de panels veel nadruk ligt op de formele 
kwalificaties van docenten, de kwaliteit van docenten op papier en de gesprekken 
daarover met de studenten. In de vier cases met beoordelingen van bestaande 
opleidingen zien we dat er wel met studenten en docenten over is gesproken, maar 
dat de didactische vaardigheden in de praktijk niet getoetst zijn. Men beperkt zich 
tot het registreren van de opgevraagde formele kwalificaties en ervaring. 

De realiteitstoets die door de wetgever beoogd werd, zoals in de MvT verwoord ('het 
in de praktijk ervaren hoe wordt lesgegeven'), en behoort bij wat stakeholders van 
een goede opleiding verwachten, is nog niet in de kaders en in de onderzoekpraktijk 
verwerkt. 

2 . Het leren in de beroepspraktijk 

In de wet noch in de beoordelingskaders wordt hierover gesproken. Verondersteld 
wordt kennelijk dat de beoordeling hiervan deel uitmaakt van de beoordeling van 
het programma. 

Gezien de kritische geluiden die vanuit de studenten op gezette tijden over de 
kwaliteit van het leren op de werkplek naar boven komen ( 18 ), mag aangenomen 
worden dat ook dit element deel uit maakt van de kwaliteit die studenten met name 
in het hbo van een opleiding verwachten. 

Bij twee cases was in het programma een gesprek met externe stagebegeleiders/ 
werkveldvertegenwoordigers opgenomen. Er vond geen observatie op de werkplek 
plaats. Bij een derde case kwam het alleen in gesprekken met studenten kort aan de 
orde. De NQA meldt dat dit wel aan de orde komt, bijvoorbeeld door gesprekken 
met werkveldbegeleiders, maar mede door andere prioriteiten van het panel en de 
tijdsdruk vaak maar beperkt. 

We constateren dat dit element niet in de wet en de beoordelingskaders genoemd 
wordt, doch wel tot de door de stakeholders verwachte kwaliteit behoort. Het wordt 
door de beoordelingen slechts matig gedekt. 

3. Relevante wettelijke vereisten 

De wet schrijft niet voor om na te gaan of de opleiding wettelijke voorschriften 
naleeft. Het uitgebreide kader bevat standaard 7: De opleiding voldoet aan 
wettelijke eisen met betrekking tot de omvang en de duur van het 
programma. In de toelichting staan de studiepunten die horen bij bachelor en 
master wo en hbo. In het beperkte kader is dit verdwenen. 

In de cases wordt dit vooral op papier beoordeeld, zeker wat betreft de 
deeltijdvariant. Bij één van de cases besteedt men een aparte paragraaf in het 
panelrapport aan 'Instroom, studielast en rendementen', waar iets meer gezegd 
wordt over studielast dan alleen de vereiste 240 studiepunten: men gaat hier ook in 
op verdeling over de jaren en verbetering op dat punt. Bij twee andere cases is er 
niet veel meer aandacht dan de formele 240 studiepunten en, in één geval, dat de 
opleiding zwaar is voor voltijdstudenten (namelijk 40/50 uur per week). Over de 
deeltijdvariant (met 20 uur respectievelijk 20/25 uur per week) wordt echter bij 
beide opleidingen niets naders gemeld. 

Daarmee blijft buiten beeld of de opleiding niet alleen op papier, maar ook in de 
praktijk voldoende studielast biedt. Juist bij deeltijdopleidingen zou een check op 
zijn plaats zijn. 

In het rapport van één van de cases wordt gemeld en toegelicht dat de 
examencommissie voldoet aan de nieuwe formele eisen. 



18 Zie: Reenalda, M. Effecten van dualisering in het HBO. Enschede, 2011. En: Nationale 
stagemonitor 2013. Laurens Simonse Groep. Rotterdam 2013 
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We concluderen dat in het onderzoek de toets op belangrijke wettelijke voorschriften 
onderbelicht blijft. 

4. Studiesucces 

Tot 2011 stond in de wet als te beoordelen aspect: "De opbrengsten van het 
onderwijs; deze omvatten in ieder geval voldoende maatschappelijke relevantie van 
de eindkwalificaties en van afgestudeerden van de opleiding en voldoende 
rendement van de opleiding in relatie tot de beargumenteerde streefcijfers.' In de 
wet van 2011 is dit verwijderd, volgens de MvT aangezien "gekozen is voor een 
meer compacte formulering'. 

Dat studiesucces door stakeholders als een belangrijk kwaliteitsaspect gezien wordt, 
blijkt onder andere uit de prestatieafspraken. Het is evident dat de samenleving hier 
duidelijke verwachtingen over heeft. Zie ook het hiervoor aangehaalde voorbeeld 
van de accreditatie van de rechtenopleidingen. 

In het uitgebreide beoordelingskader bij standaard 13 staat: "De opleiding verzamelt 
tevens managementinformatie met betrekking tot de rendementen en de staf- 
studentratio.' Er worden geen eisen aan het rendement zelf gesteld. 

Bij een accreditatieaanvraag dienen opleidingen sinds 2011 een overzicht van het 
studiesucces aan te leveren: eerstejaarsuitval en diplomarendement. 

Bij onze cases zagen we enige aandacht voor het studiesucces. Bij één case wordt 
hier niets over gemeld. Bij een tweede wordt het rendement gemeld zonder verder 
commentaar. Bij twee cases is er wel naar gekeken: 'Gezien het relatief hoge 
uitvalpercentage onder de studenten is het aan te bevelen (...) een intakegesprek te 
voeren om hun motivatie te toetsen.' En de andere: 'De rendementen liggen 
beduidend lager dan die van andere XX opleidingen en vergen de aandacht van het 
management.' Hier worden te lage rendementen gesignaleerd zonder dat dit tot 
negatieve oordelen leidt, wat volgens de beoordelingskaders ook niet kan. 

De conclusie is dat studiesucces weliswaar maatschappelijk als een belangrijk 
kwaliteitsaspect gezien wordt, maar in het accreditatiestelsel weinig intensief aan 
bod komt. 



5. Eindniveau 

Veel betrokkenen vinden het een goede zaak dat er in het oordeel van het panel 
meer nadruk is komen te liggen op het eindniveau. Wel wijzen ze op het gevaar van 
te eenzijdige nadruk op de afstudeerwerken als graadmeter voor het eindniveau. Zo 
is het niveau van een fysiotherapeut moeilijk af te leiden uit enkel zijn 
afstudeerwerkstuk. 

De beoordelingskaders bieden overigens voldoende ruimte om hier ook "portfolio's 
/werkstukken waaruit het eindniveau kan worden afgeleid' bij te betrekken. 
Bewijzen van afgelegde proeven van bekwaamheid zouden hier goed toe gerekend 
kunnen worden. Ook kan het oordeel van afnemend werkveld of prestaties in de 
vervolgstudie meer betrokken worden bij de beoordeling van het eindniveau van de 
opleiding, waardoor een bredere afweging ontstaat. Opleidingen kunnen vooraf 
aangeven welke toetsvormen zij bij de examinering hanteren. In de cases werd 
echter gesproken over ervaringen met te eenzijdige nadruk op de werkstukken. 

De conclusie is hier dat er geen sprake is onderbelichting, maar in de praktijk juist 
van enige overbelichting van de werkstukken als enige toets op het eindniveau. 

6. Aansluiting op onderwijs aan volwassenen 

Tenslotte werd door enkele niet-bekostigde instellingen gezegd dat de beoordelingen 
niet altijd het kwaliteitsbegrip dekken zoals dat in particulier onderwijs voor 
volwassenen gehanteerd wordt. Als voorbeeld geldt het overzicht van te leveren 
kengetallen die voor deeltijdonderwijs voor volwassenen als minder relevant ervaren 
wordt. Overigens zijn de instellingen in dit onderzoek die uitsluitend deeltijd en/of 
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duale opleidingen voor volwassenen verzorgen, niet minder tevreden dan de overige 
instellingen. 

Conclusie validiteit 

Het stelsel meet feitelijk niet geheel wat de wetgever beoogt, met name waar het 
gaat om de toetsing in de praktijk van docentvaardigheden. Verder blijven enkele 
door de stakeholders relevante aspecten in de feitelijke beoordelingen onderbelicht. 
Dit maakt dat indien op deze aspecten op enig moment tekortkomingen naar voren 
komen, al snel de vraag kan volgen: Waarom is dat bij de beoordeling niet 
gebleken? Dit knelpunt kan een risico voor het draagvlak van het stelsel vormen. 

B. Validiteit instellingstoets 

Er is nu nog geen uitspraak te doen of de instellingstoets daadwerkelijk vaststelt wat 
beoogd wordt. Beheersen de instellingen die de toets behalen de kwaliteit nu beter? 
Van het risico van het beoordelen van een papieren werkelijkheid, van papieren 
procedures, zijn de betrokkenen zich goed bewust. De audittrails, met een toets op 
de gerealiseerde kwaliteitsborging tot op de werkvloer, beogen dit te tackelen. 
Nader onderzoek naar de validiteit zal dit uit moeten wijzen. Er zijn nu geen 
aanwijzingen dat de validiteit van de instellingstoets tekort schiet. 

C. Gerealiseerde praktijk versus de voornemens 

Uitgangspunt: de foto en niet de film 

Belangrijk is de vraag of de foto (dat wil zeggen de op het moment van onderzoek 
daadwerkelijke realisatie van het onderwijs of van de kwaliteitszorg) dan wel de film 
(dat wil zeggen de voorbije of verwachte ontwikkelingsgang van de kwaliteit of de 
kwaliteitszorg) beoordeeld moet worden. Als het panel (ook) beoordeelt in hoeverre 
er sprake is van een opgaande lijn in de voorbije periode zonder dat de norm al 
gehaald is, dan wel van perspectiefvolle voornemens voor de nabije toekomst, dan 
beoordeelt het panel (mede) de film. 

Verder kan ook het meewegen van verzachtende omstandigheden afbreuk doen aan 
de validiteit van de beoordelingen. 

De NVAO is hier in haar mondelinge toelichting helder over: in alle gevallen gaat het 
in deze metafoor om de foto. Hier kan overigens verschillend over gedacht worden. 
Men kan immers redeneren dat de waarborgfunctie van de beoordelingen om de 
fotobenadering vraagt, terwijl de stimuleringsfunctie een filmbenadering zou vergen. 
En het beleid van de NVAO is gericht op het laatste: "De NVAO heeft de ESG 
(European standards and guidelines) vertaald en herschikt zodat de nadruk sterker 
is komen te liggen op kwaliteitsverbetering Qquality enhancement') in plaats van op 
kwaliteitsborging ('quality assurance').' (tekst in de beoordelingskaders). 

Gerealiseerde kwaliteit 

De beoordelingskaders reppen niet over de 'fotobenadering', maar stellen wel: Het 
beoordelingskader biedt daarnaast de mogelijkheid om het gesprek tijdens de 
visitatie niet alleen te laten gaan over de in het verleden behaalde resultaten, maar 
ook over de ambities van de opleiding. Wat zijn de keuzes voor de toekomst, waar 
wil de opleiding heen? Om een dergelijk gesprek te kunnen voeren, wordt van het 
visitatiepanel verwacht dat het ook in staat is met de opleiding over haar 
toekomstplannen te reflecteren. Kortom, weliswaar de foto, maar wel in de context 
van verleden en toekomst (ook wel 'foto met groothoeklens' genoemd). Met deze op 
zichzelf begrijpelijke nuancering wordt wel enige ambiguïteit gecreëerd. 

Overigens zijn er situaties waarin een filmbenadering terecht een rol kan spelen: 
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o bij de toets nieuwe opleiding kunnen alleen (beredeneerde) voornemens 

beoordeeld worden ( 19 ); 
o bij de inschatting of een herstelperiode dan wel het stellen van voorwaarden 

gerechtvaardigd is, dient het perspectief op realisatie binnen de gestelde 

termijn meegewogen te worden. Dat is een legitieme 'filmbeoordeling'. 

Hetzelfde geldt als verbetervoorstellen beoordeeld worden. 

Andere opvattingen 

In een casus zei het management: 'Het moet om de film gaan! De dynamiek moet 
meegenomen worden: wat is er gebeurd tot nu toe, maatregelen naar aanleiding 
van de vorige keer, hoe zijn docenten meegenomen in het proces, de 
veranderkracht van de organisatie, de fase waarin het curriculum zich bevindt (aan 
het implementeren of bestaat al een paar jaar) et cetera. Men moet de 
ambitie/veranderkracht eruit halen en meenemen in de waardering, anders verwordt 
het stelsel tot controle en bekijken van regels. Wij betreuren het sterk als we 
docenten horen zeggen: 'We komen vast niet door de accreditatie heen, omdat we 
nu zo sterk in verandering zijn'. Dat is de verkeerde insteek!' 

Een voorzitter bij een andere casus: 'Bij een ITK is de foto onvoldoende en 
onwenselijk. Als je alleen naar de foto zou kijken heb je een conserverende werking, 
bevorder je de status quo, straf je innovatie af. Je moet ook naar de ontwikkelingen 
kijken en het vertrouwen dat het goed gaat, moet je ook een zekere plaats geven.' 

Bij de instellingstoets wordt beoordeeld of de kwaliteitscyclus zich voldoende 
voltrekt: het gaat bij gesignaleerde kwaliteitstekorten immers altijd om voornemens 
tot verbetering. Wat in bovenstaand citaat echter verward wordt is de kwaliteit zelf 
met het functioneren van de cyclus: deze moet op het beoordelingsmoment zodanig 
beïnstrumenteerd en geïmplementeerd zijn dat deze daadwerkelijk functioneert. Ook 
experimenten of innovaties zijn gewoon mogelijk, mits ingebed in een systematiek 
van doelformulering, uitvoering, evaluatie en bijstelling. De foto betreft hier immers 
niet de kwaliteit, maar de borgingssystematiek. 

Betrokkenen over de foto 

Zwaar weegt voor ons dat in de enquête onder de betrokkenen maar liefst 60 
procent van mening is dat de commissie in haar oordelen perspectiefvolle 
voornemens heeft laten meewegen, ook al zijn deze nog niet gerealiseerd. Verder 
zegt 22 procent dat externe factoren zoals een reorganisatie meegewogen zijn. 
Gevolgen voor de opleiding of instelling van een negatieve eindbeoordeling speelt 
slechts volgens 5 procent een rol; dit kan het gevolg van de invoering van de 
hersteltijd zijn. Er zijn hierin geen verschillen tussen wo, hbo en nbo. 

Een respondent meldt: ' Er is zeker gesproken over plannen en toekomstige 
ontwikkelingen, zowel voor de korte als de lange termijn. De beoordelingen zijn 
echter gebaseerd op de past performance.' 

Voorbeelden van de film 

Ook troffen we regelmatige voorbeelden aan van een filmbenadering. Zo laat het 
panelrapport en het besluit van een opleiding goed zien wat het dilemma van een 
panel is. 

"Het panel ziet dat de opleiding hard heeft gewerkt aan (verdere) borging van het 
gerealiseerd niveau. Het ziet de vooruitgang en de verbetering in de huidige 
scripties. Niettemin ziet het panel ook in dat de effecten van de ingezette 
verbetermaatregelen reëel gesproken pas volledig bij de volgende cohorten 
zichtbaar kunnen zijn. Deze lichting van studenten heeft nog niet kunnen profiteren 



19 Het voornemen in het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs om na 
drie jaar na een TNO het gerealiseerde eindniveau en de examinering te toetsen, is dan ook 
een terechte aanvulling. 
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van het geheel van maatregelen dat in het curriculum plaatsvindt. De opleiding heeft 
voor hen een aparte module Onderzoeksvaardigheden ontwikkeld om hen extra 
handreikingen te geven op onderzoeksgebied. Zij hebben als het ware een 
"onderzoeksinfuus" gehad. Ook is gezorgd voor extra begeleiding tijdens het 
afstudeertraject. Het panel onderkent dat de opleiding nog niet is waar ze wil wezen, 
maar vindt binnen deze context de beweging die het ziet ten opzichte van de 
situatie tijdens de vorige audit belangrijker.' 

De NVAO benadrukt niettemin steeds de fotobenadering en heeft één van de 
evaluatiebureaus er in het verleden zelfs op aangesproken dat te veel het proces 
beoordeeld werd. 

De conclusie is dat hoewel in de foto-/fi lm -metafoor het belang van de foto terecht 
benadrukt wordt, er bij de actoren verschillende visies bestaan en dat in de praktijk 
de filmbenadering wel degelijk regelmatig voorkomt. Overigens is dit een lastige 
problematiek waar veel toezichthouders mee worstelen. 



De hoogte van de lat 



Terugblik: het oude stelsel 

Bij de beoordelingen komt ook de vraag aan de orde in hoeverre het werkelijke 
kwaliteitsniveau weerspiegeld wordt in de uitkomsten. In 2011 stelde de toenmalige 
voorzitter van de NVAO: 'Het accreditatiestelsel functioneerde redelijk, maar door 
het ontbreken van een reële herstelmogelijkheid is een te grote angst in het stelsel 
ontstaan; "peer review" is krachtig, maar veronderstelt verbetermogelijkheden. 
Naarmate het stelsel harder is, spreken de peers zich zachter uit' ( 20 ). Hoe zacht 
was het stelsel? 



Uit het overzicht van de besluiten in tabel 4.3 blijkt dat in de afgelopen zeven jaar 
het percentage positieve accreditatiebesluiten varieert tussen 94 en 98. In het wo 
ligt de variatie tussen de 97 en 100 procent, in het hbo tussen de 94 en 99 en in het 
niet-bekostigd onderwijs tussen de 61 en 93 procent (zie bijlage IV). Bij de toetsen 
nieuwe opleiding liggen de percentages lager. Bij de TNO komt vrijwel geen 
negatieve beoordeling voor, naast de positieve beoordelingen zijn er alleen 
terugtrekkingen. 



Tabel 4.3 Percentages positief besluit voor gehele hoger onderwijs van 2003 - 2011 



2005 



2006 



2007 



2008 



2009 



2010 



2011 



Toets nieuwe opleiding 



59 



91 



102 



114 



117 



106 



82 



% 
terug 



22 



30 



25 



22 



31 



25 



15 



aant. 
neg. 











% 
pos. 



76 



70 



74 



78 



67 



75 



85 



Accreditatie best. opleiding 



371 



336 



523 



573 



506 



424 



305 



% 
terug 



% 
neg. 







% 
pos. 



94 



96 



99 



99 



96 



98 



97 



Bron: Jaarverslagen NVAO 2005 - 2011 

o In 2009 zijn 151 opleidingen in een overgangsregeling in verband met een stuwmeer 

collectief positief beoordeeld. Deze zijn meegenomen bij de 506 opleidingen, 
o De cijfers 2011 bevatten beoordelingen in het oude en nieuwe stelsel. 



Het grote verschil tussen de beoordelingen van nieuwe en bestaande opleidingen 
kan voortkomen uit het verschil in consequenties: de aanvraag voor een nieuwe 
opleiding kan eenvoudig, zonder schade voor studenten, teruggetrokken worden. Dit 



20 'Kwaliteit vraagt om kwaliteitscultuur', toespraak NVAO-voorzitter Karl Dittrich ter 
gelegenheid van Nationaal Hoger Onderwijs Congres, Rotterdam 30 november 2011 
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verklaart ook het verwaarloosbare aantal negatieve beoordelingen bij de TNO: 
instellingen laten het doorgaans zover niet komen. Het beëindigen van een 
bestaande opleiding - tot 2011 het directe gevolg van een negatief oordeel - brengt 
echter aanzienlijke schade met zich mee: voor de zittende studenten en voor het 
imago van de instelling. Er zijn geen opvallende verschillen in terugtrekkingen 
versus negatief oordeel tussen wo, hbo en niet bekostigd onderwijs. 

De conclusie is dat het oude stelsel sterk tendeerde naar positieve beoordelingen. 

Het nieuwe stelsel: effect invoering herstelperiode 

Per 1 januari 2011 is met het nieuwe stelsel de mogelijkheid van een besluit tot een 
herstelperiode ingevoerd. Van de 387 aanvragen in 2011 (TNO plus BO) vielen 
slechts 37 onder het regime van het pas gestarte nieuwe accreditatiestelsel. Hiervan 
kregen er twee een negatieve beoordeling, veertien (TNO) een toets nieuwe 
opleiding onder voorwaarden, dertien (BO) een besluit tot een herstelperiode en 
slechts zeven (TNO plus BO) direct een positieve beoordeling (Jaarverslag 2011, 
NVAO). Op grond van deze nog beperkte cijfers lijkt het stelsel strenger te zijn 
geworden. Overigens moet wel bezien worden in hoeverre de beoordelaars ook in de 
herhaalde beoordeling de lat hoog weten te houden. Het alsnog terugdeinzen voor 
de harde gevolgen van een afkeuring ligt dan immers opnieuw op de loer. 

Omgekeerd kan hier ook de conclusie uit getrokken worden dat in het stelsel zonder 
de herstelperiode over het geheel genomen positiever is geoordeeld. Kennelijk is de 
beoordeling te weinig scherp geweest. Het is een gunstige ontwikkeling dat de lat in 
het nieuwe stelsel hoger komt te liggen. 
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ZORGVULDIGHEID 



Standaard 4: De beoordelingen en besluiten zijn gebaseerd op zorgvuldige 
processen. 



Conclusie 

De beoordelingen en besluiten zijn in voldoende mate op zorgvuldige 
processen gebaseerd. 

Ondanks incidentele haperingen in het proces, zijn we, mede gezien de complexiteit 
van het geheel, van mening dat de processen voldoende zorgvuldig verlopen. 
Bijzondere aandacht is nodig voor de procedure van hoor en wederhoor en de 
realisatie van afgesproken termijnen, dan wel het informeren van de instelling bij 
overschrijding daarvan. 

Toelichting 

Overwegend zorgvuldig 

Belangrijk is dat de ondervraagde betrokkenen in overgrote meerderheid alle 
onderdelen (vanaf de voorbereiding door de NVAO, de interne voorbereidingen, de 
uitvoering tot en met de definitieve besluitvorming) van het beoordelings- en 
besluitvormingsproces als zorgvuldig hebben ervaren. Het percentage dat 
onderdelen niet zorgvuldig vond, varieert tussen de en de 4 procent, terwijl het 
aandeel dat neutraal antwoordt tussen de 1 en 11 procent ligt. 

Er is geen betekenisvol verschil hierin tussen bekostigd en niet-bekostigd onderwijs 
en tussen de betrokkenen op centraal en decentraal niveau. Het enige verschil 
tussen hbo en wo is dat de betrokkenen in het hbo licht maar significant tevredener 
zijn over de voorbereiding door het evaluatiebureau dan in het wo (gemiddelde 
scores van 4,2 respectievelijk 3,9 op een vijfpuntsschaal). 

Terwijl in het verleden volgens betrokkenen nog wel eens minder zorgvuldig met 
zaken als de panelsamenstelling, selectie van werkstukken en gesprekspartners en 
besluiten werd omgegaan, kwamen we dat nu niet tegen. Er zijn drie punten waarbij 
verbetering mogelijk is. 

Overschrijding termijnen 

Ook over de realisatie van afgesproken termijnen is men over het geheel positief, zij 
het wel wat minder dan over de andere aspecten van het onderzoek. Er is relatief 
minder tevredenheid over de termijn tussen het bezoek en de ontvangst van het 
conceptrapport (12 procent niet tevreden), en die tussen het definitieve rapport en 
het besluit (15 procent niet tevreden). Ook wat betreft de termijnen is men in het 
wo wat minder tevreden dan in het hbo, behalve over de termijn tussen definitief 
rapport en besluit: daarover is geen verschil in tevredenheid. We zien geen 
verschillen hierin tussen bekostigd en niet-bekostigd onderwijs. 

De totale doorlooptijd van het laatste beoordelingsproces was volgens de 
betrokkenen gemiddeld 9,7 maanden met een minimum van 1,5 maand en een 
maximumduur van 18 maanden. Een wenselijke termijn vindt men gemiddeld 7,0 
maanden, met een maximum van 12 maanden. In het bekostigd onderwijs is zowel 
de werkelijke als de acceptabele duur ongeveer een maand langer dan in het niet- 
bekostigd onderwijs. En in het wo is de feitelijke duur van het hele traject 1,1 
maand langer, en de acceptabele duur 1,3 maand langer dan in het hbo. 
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In vrijwel alle cases bleek de NVAO lang over haar besluit te doen. Bovendien 
informeert de NVAO ook bij overschrijding van de geplande termijn de instelling hier 
pas per mail over indien de Awb-termijnen in het geding zijn. 

De NVAO noemt drukte, met regelmatig piekmomenten, als belangrijkste oorzaak 
van vertraging. Deze zijn overigens deels bij elke (her)inrichting van het stelsel te 
voorzien. 

Het grootste probleem van lange doorlooptijden is dat het momentum van de 
externe blik verloren gaat en dat het uiteindelijke besluit niet meer de nodige 
aandacht in de instelling of bij de opleiding krijgt. Dit kan in belangrijke mate 
afbreuk doen aan het beoogde stimulerende effect. 

Terugkoppeling 

In veel door ons onderzochte gevallen en zelfs in vrijwel alle cases met een 
negatieve of geclausuleerde beoordeling, bleken het panel en de instelling de 
mondelinge terugkoppeling door het panel aan het eind van het bezoek opvallend 
verschillend te percipiëren. De instelling vond steeds de terugkoppeling positiever 
dan de voorzitter en secretaris dat vonden, en het daar geschetste beeld dan ook 
positiever dan de beoordeling in het rapport. 

Het begrijpelijke streven om kritische boodschappen beter te laten landen door ook 
complimenten te geven of een slag om de arm te houden, schiet dan zijn doel 
voorbij. Complimenten blijven hangen, kritiek komt niet over. Maar ook onvermogen 
in slecht nieuwsgesprekken kan een rol spelen. 

Wanneer het rapport komt, blijkt pas hoe precies is geoordeeld, maar dan kan er 
alleen nog gereageerd worden op feitelijke onjuistheden. In sommige gevallen 
volgden nog wel gesprekken om een en ander toe te lichten, maar onze indruk was 
dat dit onvoldoende de onvrede kon wegnemen. Dat de oordelen uiteindelijk niet 
geaccepteerd worden, vermindert de effectiviteit van de borging. 

Verantwoording verwerking reactie 

De wijze waarop de reactie van de instelling op de conceptrapporten en voornemens 
tot besluit verwerkt is, vernemen de instellingen hetzij in een gesprek hetzij in een 
mail aan de instelling. Dit dringt niet altijd tot de opleidingen door. Het valt te 
overwegen deze wijze van verwerking in het besluit zelf, dan wel in een formele 
brief kenbaar te maken. 

Incidentele haperingen 

Bij een zo complex en sterk gedifferentieerd proces als de permanente stroom van 
beoordelingen en besluiten, met steeds zo veel betrokkenen, is het onvermijdelijk 
dat er zo nu en dan haperingen optreden. Er zijn dan ook op verschillende 
momenten in het proces incidenteel onzorgvuldigheden waargenomen. Deze doen 
geen afbreuk aan het oordeel. 

Zorgvuldige communicatie is cruciaal 

In het algemeen is een zorgvuldige, intensieve communicatie van groot belang. 
Zeker naarmate het stelsel scherper wordt, en daardoor meer weerstand ontstaat bij 
de beoordeelde instellingen, is het noodzakelijk om alle aandacht aan de 
communicatie te geven. Boordelen is immers vooral communiceren. Wij merkten dat 
vooral bij vervolgtrajecten dit weerstand kan verminderen. 
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KWALITEITSBORGING 



Standaard 5: De kwaliteit van het accredïtatiestelsel wordt voldoende geborgd. 



Conclusie 

Het accreditatiestelsel voldoet ten dele aan de standaard voor de 
kwaliteitsborging. 

De NVAO en ook enkele evaluatiebureaus hebben de afgelopen jaren tal van 
evaluaties uitgevoerd en daar ook maatregelen op genomen. Verder kent het stelsel 
een behoorlijk leervermogen. Op allerlei onderdelen is de laatste jaren verbetering 
zichtbaar. Wel is er op onderdelen (hoogte van de lat, herstelperiode) een trage 
verbetercyclus, deels als gevolg van de wettelijke regulering. 

Echter, daar staat tegenover dat tot voor kort een evaluatie ontbrak van de kern 
van het beoordelingsproces, namelijk van de betrouwbaarheid en validiteit van de 
beoordelingen. Ten tijde van ons onderzoek heeft een van de bureaus, NQA, voor 
het eerst een analyse uitgevoerd. De NVAO is voornemens dit nu bij te gaan houden 
en te onderzoeken. 

Toelichting 

De NVAO hanteert voor haar activiteiten een kwaliteitszorgsysteem in een 
tweejarige cyclus. Dit systeem is eerder beschreven in de Kwaliteitsnotitie uit 2006, 
en recent herschreven in de Strategienota 2012 - 2016. 

In dat kader heeft de NVAO afgelopen jaren diverse evaluaties uitgevoerd en op 
basis daarvan verbeteringen doorgevoerd. Enkele voorbeelden: 

o 'Vijfjaar NVAO getoetst 2005 - 2010'. Hieruit blijkt dat er behoefte is aan 
een meer inhoudelijke benadering, ook aandacht voor de kwaliteit boven het 
basisniveau, verdere professionalisering van de panels en het invoeren van 
meer realistische termijnen. De aandacht voor de kwaliteit boven het 
basisniveau is in 2011 mogelijk gemaakt in de nieuwe beoordelingskaders. 

o In 2012 voerde de NVAO een evaluatie uit naar panelsamenstellingen. 
Daaruit blijkt dat in een kwart van de gevallen de panelvoordracht door de 
instellingen (al dan niet gemandateerd aan een evaluatiebureau) 
onvoldoende onderbouwd is. De NVAO, die daar steeds op corrigeert, 
signaleert in haar evaluatie een leereffect. Dit is ons door de 
evaluatiebureaus en door de gesprekken in de cases bevestigd. 

o In 2012 zijn diverse acties ondernomen om de kwaliteit van de 

panelrapporten te verbeteren. Zo is er een beoordeling van elf rapporten 
door een extern bureau uitgevoerd, zijn rapporten door studenten 
beoordeeld en is er een instrument ontwikkeld waarmee het NVAO-bureau 
op consistente wijze panelrapporten kan beoordelen. 

o In 2013 onderzocht de NVAO de ervaringen van docenten; de uitslag was 
ten tijde van dit onderzoek nog niet bekend. 

Ook heeft de NVAO in een evaluatiematrix een overzicht gemaakt ten behoeve van 
evaluaties van alle kritische processen met daarbij evaluatiedoelen, instrumenten, 
frequenties en verantwoordelijken. Daaruit blijkt dat de processen van alle TNO's, 
accreditaties en ITK's in een vragenlijst voor de instellingen geëvalueerd worden. 
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Daarnaast waarborgen de evaluatiebureaus met wie wij spraken ook de kwaliteit van 
hun werk door diverse maatregelen: 

o een standaard afsluitend evaluatief overleg met, dan wel feedbackverzoek 

aan, de betrokken opleiding c.q. instelling; 
o jaarlijks overleg met haar instellingen over afgelopen en komende 

accreditaties; 

o standaard één of twee meelezers bij de rapporten; 

o interne werkoverleggen van alle secretarissen, soms met casuïstiek; 

o eigen scholingen van voorzitters en secretarissen, aanvullend op de 

tweejaarlijks training van de NVAO, waaronder intensieve selectie- en 

inwerktrajecten. 

De kwaliteitsborging door de NVAO is in 2012 door de ENQA in haar audit 
beoordeeld als "fully complies' met de desbetreffende standaard. Hier lag een 
zelfreflectie van de NVAO aan ten grondslag. Het eindoordeel van de ENQA audit 
luidt als volgt: x Having assessed various documents and oral evidence through a site 
visit, the Panel is convinced that NVAO acts in compliance with the ENQA 
membership regulations and is in substantial compliance with the Standards and 
Guidelines for Quality Assurance in the European Higher Education Area. The Panel 
therefore recommends to the Board of ENQA that NVAO's Full Membership of 
ENQA be confirmed for a further period of five years. 

The Panel concludes that NVAO fully complies with the ENQA membership criteria 
2, 3, 4, 5, 6, 7 and 8 and substantially complies with the ENQA membership 
criterion 1 . ' 

Verder zijn NQA en Hobéon ISO-gecertificeerd en voldoet QANU aan de eisen van de 
ESG en is opgenomen in het register van EQAR. 

Naar aanleiding van een recente analyse van de beoordelingen door NQA 
organiseerden NQA en Hobéon zelf twee 'kalibratiebijeenkomsten' om verschillen in 
de beoordelingen te bespreken en te verminderen. 

Het stelsel verbetert zich goed, maar op onderdelen te langzaam 
Het stelsel kent een behoorlijk leervermogen op allerlei aspecten (voordracht 
panelleden, leesbaarheid rapporten, selectie werkstukken en gesprekspartners, 
onderscheid goed - excellent). Op andere punten is het leervermogen echter traag. 
Zo heeft het heel lang geduurd voordat de mogelijkheid tot een herstelperiode - al 
in 2004 door de NVAO voorgesteld- in 2010 in de wet was opgenomen. Hier ligt de 
oorzaak van de traagheid bij de wetgever. Het gevolg was dat het stelsel - volgens 
eigen analyses van de NVAO - te lang gekenmerkt is door te harde gevolgen van 
negatieve besluiten en mede daardoor te lage normen. Gedetailleerde wetgeving, 
bijvoorbeeld met betrekking tot te beoordelen aspecten, maakt het de actoren niet 
eenvoudig om op de desbetreffende onderdelen snel verbeteringen door te voeren. 

Lacunes in de kwaliteitsborging 

Tegenover deze positieve bevindingen staan enkele kritische punten, die maken dat 
ons oordeel een 'deels voldoende' is. De inspectie ziet het als een tekort dat de 
actoren in het stelsel tot voor kort geen onderzoek hebben ingesteld naar de 
betrouwbaarheid en validiteit van de oordelen, en meer in het bijzonder naar het 
effect van het evaluatiebureau of de voorzitter van het panel op de uitkomsten. Te 
meer omdat reeds vanaf het begin van het stelsel het beeld is ontstaan dat er 
aanzienlijke verschillen in strengheid tussen de bureaus zouden bestaan. Hetzelfde 
geldt voor de waarborg van de validiteit: er is te weinig onderzocht in hoeverre de 
feitelijke beoordelingen een voldoende weergave vormen van het kwaliteitsbegrip bij 
wetgever en belanghebbenden. 
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Verder lukt het nog altijd niet om effectieve verbetermaatregelen door te voeren bij 
het realiseren van redelijke termijnen: zie daarvoor onze opmerkingen bij de 
standaard zorgvuldigheid. 

Klachten en nazorg 

De NVAO kent geen klachtenprocedure aangezien haar besluiten openstaan voor 
bezwaar en beroep. Sinds 2002 zijn er vijf bezwaarprocedures geweest waarvan er 
drie bij de Raad van State terechtkwamen. In alle gevallen is geoordeeld dat de 
procesgang in orde was en er geen aanleiding was om de oordelen te veranderen. 
Verder worden verschillen van mening over de beoordeling of het besluit doorgaans 
in een extra gesprek besproken. 

Wel zagen we in enkele cases bij instellingen met een moeizaam beoordelingsproces 
uiteindelijk een onbevredigend gevoel blijft hangen. Wij zagen opvallende verschillen 
in perceptie over wat er aan de hand is geweest tussen instellingen, panels en 
NVAO, die niet overbrugd zijn. Een standaard evaluatief gesprek door de NVAO bij 
processen met voorwaarden, hersteltijd of negatieve beoordelingen kan bijdragen 
aan acceptatie van de beoordelingen. 
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STIMULERENDE WERKING 



Standaard 6: De beoordelingen stimuleren instellingen respectievelijk opleidingen in 
voldoende mate tot verbetering van de kwaliteitszorg respectievelijk de kwaliteit. 



Conclusie 

De beoordelingen stimuleren instellingen en opleidingen goed tot 
verbetering van de kwaliteit dan wel de kwaliteitszorg. 

De betrokkenen hebben het gehele beoordelingsproces in grote meerderheid als 
stimulerend ervaren. Van alle onderdelen van het proces blijkt het grootste 
stimulerend effect te komen van de eigen voorbereidingen, waarbij dit niet los 
gezien kan worden van het uiteindelijke publieke oordeel als stok achter de deur. 

Het effect bestaat er volgens de betrokkenen zelf uit dat er scherpere doelen zijn 
gesteld, er vaak verbetermaatregelen genomen zijn of een al lopend verbeterproces 
is versneld. Vier op de tien van de ondervraagde betrokkenen ziet een 
kwaliteitsverhoging van de opleiding. Volgens een kleine meerderheid is er een 
groter kwaliteitsbewustzijn bij het team. Een aandachtspunt is de impact bij 
opleidingen of instellingen met een negatieve of voorwaardelijke beoordeling. 

Toelichting 

Stimulerend voor de kwaliteit 

Het accreditatiestelsel dient niet alleen ter waarborg van de basiskwaliteit ('quality 
assurance'), maar ook ter bevordering van de kwaliteit door stimulering van 
permanente kwaliteitsverbetering ('quality enhancement'). 

Belangrijk is dat de betrokkenen in grote meerderheid het beoordelingsproces als 
geheel stimulerend vinden voor de kwaliteit van de opleiding dan wel de 
kwaliteitszorg voor de instelling: 83 procent beaamt dit, tegenover 5 procent die het 
niet stimulerend vindt. Gevraagd of de docenten dat ook vinden - de respondenten 
zijn namelijk zelf geen docent - bevestigt 49 procent van onze respondenten dat, 
tegenover 11 procent die dit ontkent en 34 procent die neutraal antwoordt. De 
betrokkenen in het hbo vinden het hele proces significant stimulerender dan die in 
het wo. Tussen bekostigd en niet-bekostigd onderwijs verschillen de meningen 
hierover niet. 

Dit vertaalt zich in de meningen over de stimulerende werking van de verschillende 
onderdelen van het hele proces: alle onderdelen worden door de meerderheid 
stimulerend gevonden. Het meest tevreden is men over de voorkant van het proces: 
het opstellen van de zelfreflectie en de interne voorbereidingen, relatief het minst 
over de oordelen en onderbouwingen in het rapport. 

In hbo acht men het stimulerender dan in wo 

In het wo schat men de stimulerende werking van de mondelinge terugkoppeling en 
het rapport wat minder positief in dan in het hbo. Er zijn geen opvallende verschillen 
in opvattingen hierover tussen centrale en decentrale betrokkenen en tussen 
bekostigd en niet-bekostigd onderwijs. 

Effecten volgens betrokkenen 

Bij de vraag wat het stimulerend effect dan precies is, blijkt dat 53 procent nu meer 
kwaliteitsbewustzijn ziet bij het team, tegenover 19 procent die dat niet ziet en 27 
procent die hierin neutraal antwoordt. Er zijn geen verschillen hierin tussen centraal 
en decentraal, tussen hbo en wo en tussen bekostigd en niet-bekostigd onderwijs. 
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Volgens driekwart van de betrokkenen zijn er nu concrete verbetermaatregelen 
genomen, ruim de helft ziet nu scherpere kwaliteitsdoelen. De beoordeling heeft tot 
een kwaliteitsverhoging van de opleiding geleid, denkt 39 procent, tegenover 21 
procent die vindt van niet. Bij het niet-bekostigd onderwijs is men wat positiever 
over dat laatste dan bij het bekostigd onderwijs. 

In de toelichtingen leggen de betrokkenen een verband tussen het effect en het 
reeds bereikte kwaliteitsniveau: sommigen zeggen dat de beoordeling een 
bevestiging was van wat men al deed en niet extra stimulerend. 

In de cases zien we ook dat men zich door de beoordelingen gestimuleerd voelt. 
Beoordelingen met een voorwaardelijke of negatieve uitkomst vinden de 
betrokkenen niet leuk, maar ze leiden volgens hen uiteindelijk wel steeds tot hogere 
kwaliteit. Bij een paar instellingen met een kritische uitkomst van de ITK werd dit 
nadrukkelijk niet stimulerend gevonden. 

De impact van de beoordeling hangt overigens ook af van hoe de instelling er zelf 
mee omgaat. Bij een clusterbeoordeling in het wo werden niet alleen de aandacht 
vanuit de instelling en enkele bijeenkomsten om de uitkomsten te bespreken 
stimulerend gevonden, maar ook een bespreking van het overall overzicht in het 
state of the art-rapport. 

Een ITK werkt ook stimulerend door een grotere betrokkenheid van het CvB, 
vernamen we. Het imago van de instelling staat immers op het spel. 

Stimulerende gesprekken? 

In de beoordelingskaders staat: De beoordeling komt tot stand op basis van een 
discussie met 'peers' over de inhoud en kwaliteit van de opleiding. Hier wordt het 
beeld geschapen van een open gesprek tussen vakgenoten over de opleiding. 

Belangrijk voor het oordeel van de inspectie is dat 79 procent van de respondenten 
deze gesprekken inderdaad als stimulerend heeft ervaren. 

Toch bleek in de cases soms verschil in perceptie: de panelleden spraken in enkele 
gevallen van plezierige gesprekken, terwijl de betrokkenen van de opleiding of 
instelling het juist beoordelende gesprekken vonden, soms zelfs scherp en kritisch 
en zeker geen open gedachtewisselingen. In een andere case ervoeren de 
betrokkenen de gesprekken daarentegen wel als open en plezierig. 

Stimulans voor kwaliteit hoger onderwijs? 

Of de kwaliteit van het hele hoger onderwijs nu voldoende gestimuleerd wordt, is 
een vraag die door de betrokkenen zelf moeilijk te beantwoorden is. De NVAO stelt 
in haar Jaarverslag 2010 dat de kwaliteitsbodem nu (acht jaar na de start) gelegd 
is: slechte opleidingen zijn verdwenen of niet voor accreditatie voorgedragen. 
Tegelijk constateren we in hoofdstuk 4 dat er pas met de invoering van de 
herstelperiode, tezamen met andere maatregelen, meer scherpte in het stelsel is 
gekomen. Daarvoor was het kennelijk te weinig scherp. Daarmee is er minder 
stimulans geweest dan met een scherper stelsel mogelijk zou zijn. 
Op het moment van onderzoek, begin 2013, wordt de kwaliteit van het hoger 
onderwijs voldoende door het stelsel gestimuleerd. 
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TRANSPARANTIE 



Standaard 7: Het accreditatiestelsel draagt in voldoende mate bij aan de bekendheid 
van de kwaliteit en het profiel en verschillen daarin tussen instellingen en 
opleidingen. 



Conclusie 



Het accreditatiestelsel voldoet ten dele aan de gewenste transparantie over 
de kwaliteit en het profiel en verschillen daarin tussen instellingen en 
opleidingen. 

Het stelsel maakt duidelijk welke opleidingen als nieuw zijn toegelaten of 
geaccrediteerd zijn en daarmee aan de basiskwaliteit voldoen. Ook begint het 
duidelijk te maken welke instellingen hun kwaliteitszorg op orde hebben. Verder 
wordt nu de differentiatie boven de basiskwaliteit beter zichtbaar, hoewel de panels 
hier nog verschillend mee omgaan. 

De NVAO publiceert op haar website overzichten van de beoordelingen goed, 
excellent, positief onder voorwaarden en negatief met een herstelperiode. Ook levert 
zij de besluiten aan voor vergelijkingsgidsen als de Keuzegids en Studiekeuze 123. 

Daar staat tegenover dat er slechts een beperkt aantal openbare 
overzichtsrapportages geproduceerd zijn, die bovendien door anonimisering geen 
voor het publiek bruikbare informatie bevatten. In het wo is het door de 
clusterbeoordeling beter mogelijk vergelijkingspublicaties te maken, en worden 
opleidingen ook met naam genoemd, doch deze rapporten worden niet altijd actief 
openbaar gemaakt. Het wordt aan de keuze van instellingen overgelaten. Om deze 
reden is het oordeel "ten dele' gegeven. 

Toelichting 

Transparantie per opleiding 

Als gevolg van de beoordelingen in de eerste jaren van het accreditatiestelsel is nu 
duidelijk welke opleidingen in elk geval niet aan de basiskwaliteit voldoen: deze 
kregen een negatieve beoordeling of hebben zich teruggetrokken uit het 
beoordelingsproces. Overigens is het als gevolg van een te lage lat in de eerste 
jaren van het stelsel waarschijnlijk dat in die tijd opleidingen doorgelaten zijn, die 
het met de huidige normen niet zouden halen. De huidige verscherping in het stelsel 
zal daarom belangrijk bijdragen aan de transparantie over de basiskwaliteit. 

Kwaliteit per aspect 

De vraag is of de reductie in het beperkte regime van zestien naar drie standaarden 
geen afbreuk doet aan het inzicht in alle aspecten van de opleiding. Betrokkenen in 
onze cases zijn echter van oordeel dat nu meer op de inhoud gefocust kan worden 
en dat de inhoud in de rapporten juist beter zichtbaar wordt. Daarmee lijkt de 
reductie niet tot vermindering van de transparantie te leiden. 

Kwaliteit boven de basisnorm zichtbaar 

Sinds 2011 is er in het stelsel de mogelijkheid om een gedifferentieerd oordeel te 
geven: onvoldoende, voldoende, goed en excellent, zowel over elke standaard als in 
het eindoordeel. Daarnaast is het mogelijk om niet alleen een "bijzonder 
kwaliteitskenmerk' te laten beoordelen, maar ook een 'bijzonder kenmerk', waarmee 
naast extra kwaliteit ook profilering gehonoreerd kan worden. Hiermee is beoogd ^de 
maatschappij beter zicht te geven op de kwaliteitsverschillen van het hoger 
onderwijs' (Memorie van Toelichting WAA). 
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Van deze mogelijkheid tot een gedifferentieerd oordeel blijkt goed gebruik gemaakt 
te worden. In de onderzochte rapporten in het nieuwe stelsel maar onder het 
uitgebreide regime komt als eindoordeel 14 procent goed voor. Excellent als 
eindoordeel komt niet voor. Als oordeel op de standaarden (N = 1.168) is 1 procent 
onvoldoende, 61 procent voldoende, 34 procent goed en 3 procent excellent. 
In het beperkte regime komen in de eindoordelen 4 procent onvoldoendes voor, 79 
procent voldoendes, 11 procent goed en 6 procent excellent. 

Bij de beperkte beoordeling van de standaarden (N=426) is 2 procent van de 
standaarden onvoldoende, 63 procent voldoende, 29 procent goed en 7 procent 
excellent. ( 21 ) 

De NVAO publiceert op haar website overzichten van opleidingen die als goed 
respectievelijk als excellent zijn beoordeeld. 

Hiermee is de beoogde differentiatie zichtbaar geworden, ervan uitgaande dat de 
betrouwbaarheid van deze differentiatie (zie hoofdstuk 4) de komende jaren 
verbetert. 

Toegankelijkheid rapporten 

Dat de NVAO zowel de visitatierapporten als de besluiten publiceert op haar website 
draagt bij aan de transparantie van de kwaliteit van de opleidingen. De databank 
waarin de NVAO de rapporten van geaccrediteerde opleidingen aanbiedt, is echter 
niet gebruiksvriendelijk. De zoekfunctie in de rapportenbank heeft een beperkte 
functionaliteit en is niet vanzelfsprekend in het gebruik. Ook is er geen helpfunctie. 
Dit leidt bij het zoeken tot veel trial and error en dus frustratie. Dit komt de 
transparantie niet ten goede: de rapporten zijn hierdoor moeilijk vindbaar, zeker 
voor wie niet gericht op zoek is of minder goed is ingevoerd in de systematiek van 
het hoger onderwijs. De NVAO onderkent dit en is voornemens dit te verbeteren. 

Aan de leesbaarheid van de rapporten is door de NVAO en de evaluatiebureaus in 
2012 veel aandacht besteed, onder andere door een externe advisering. Het doel 
van het onderzoek was tweeledig. Ten eerste wilde de NVAO nagaan of de rapporten 
toekomstige studenten kunnen ondersteunen bij hun studiekeuze. Ten tweede wilde 
men een instrument ontwikkelen waarmee de kwaliteit van rapporten kan worden 
beoordeeld en tevens de bekwaamheid van secretarissen kan worden vastgesteld in 
verband met de certificering. 

Of de rapporten bruikbaar zijn bij het maken van een studiekeuze kon door de NVAO 
op basis van dit onderzoek niet worden vastgesteld, omdat de onderzoeksopzet 
daarvoor te beperkt was en niet goed aansloot bij de onderzoeksvraag. Zo werd niet 
onderzocht of scholieren de weg naar de website weten te vinden. De inspectie 
betwijfelt bovendien of studenten daar zinvolle informatie zullen vinden die de 
studiekeuze vergemakkelijkt. 

Het onderzoek leverde een handzaam beoordelingsinstrument op dat volgens 
beleidsmedewerkers van de NVAO bruikbaar en efficiënt is bij het beoordelen van 
rapporten. 

In de casussen kwam naar voren dat docenten en management nauwelijks de 
rapporten van vergelijkbare opleidingen lezen. Een uitzondering vormde het 
(inspirerend genoemde) state of the art rapport van de opleidingen Geneeskunde. 

Overzichten van beoordeelde opleidingen 

Naast de hiervoor genoemde overzichten van opleidingen met een beoordeling goed 
en excellent, publiceert de NVAO ook overzichten van positieve beoordelingen onder 



21 Het gaat hier alleen om gepubliceerde rapporten. Beoordelingen die tot terugtrekking van 
een aanvraag leiden, zitten hier niet bij. Dit verklaart het verschil met de cijfers in bijlage V. 
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voorwaarden en van negatieve beoordelingen met een herstelperiode. Overigens is 
bij het overzicht van beoordelingen met voorwaarden niet duidelijk dat het hier gaat 
om de TNO en ITK en niet om de accreditatie. 

Inzicht in verschillen tussen opleidingen 

De kernvraag voor de transparantie is vervolgens in hoeverre deze beoordelingen 
met hun differentiatie en de verschillen daarin tussen de opleidingen op heldere 
wijze zichtbaar en toegankelijk zijn voor geïnteresseerden. 

Ook volgens de internationale eisen dient het accreditatieorgaan op metaniveau 
vergelijkende analyses uit te voeren. Bij de ENQA-audit uit 2006 zijn hier reeds 
kritische opmerkingen over gemaakt. In de WHW is daarom sinds 2011 de taak 
opgenomen dat de NVAO "over de kwaliteit van opleidingen met het oog op de 
vergelijkbaarheid aan de minister rapporteert. ' 

In het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs wordt het 
voorstel tot geclusterde beoordeling ook in het hbo verdedigd met de verwachting 
dat "aanstaande studenten, werkgevers en andere belanghebbenden een beter 
inzicht krijgen in de kwaliteit van de opleidingen. ' 

Er zijn bij de NVAO sinds 2009 drie overzichtspublicaties verschenen, onder de 
noemer van 'systeembrede analyses'. In al deze rapporten worden vergelijkingen 
gemaakt zonder dat opleidingen van instellingen afzonderlijk genoemd worden 
anders dan gecodeerd. Hiermee hebben deze publicaties voor de vergelijking van 
opleidingen voor het publiek een zeer beperkte functie. 

Daarnaast stellen ook evaluatiebureaus vergelijkende rapportages op, ook wel state 
of the art-rapporten genoemd. Hobéon heeft een overzichtsrapport over de 
opleidingen Verpleegkunde gepubliceerd, echter alleen over de vijf door dat bureau 
beoordeelde opleidingen. QANU heeft op haar website alleen dergelijke publicaties 
staan uit 2010. Er zijn er meer. Zo is er een rapport over de opleidingen 
Rechtsgeleerdheid in 2011: dit wordt echter door de deelnemende universiteiten niet 
vrijgegeven en is op internet niet te vinden. Recent is er een rapport over de 
opleidingen Geneeskunde (2012): dat wordt op verzoek wel verstrekt, en wordt op 
de website van QANU gezet zodra het laatste besluit is gepubliceerd. Dit rapport is 
nu al op internet te vinden. 

De NVAO is van oordeel dat dit een taak van de evaluatiebureaus is, die immers de 
evaluaties uitvoerden. En de evaluatiebureaus doen het alleen als de instellingen er 
mee instemmen en het willen betalen. Aldus bepalen de instellingen welke 
transparantie geboden wordt. 

Niettemin levert de NVAO een belangrijke bijdrage aan de transparantie door de 
aanlevering van gegevens aan de Keuzegids en Studiekeuze 123. Hier kunnen 
studenten en andere belanghebbenden vergelijkingen tussen verwante opleidingen 
maken waarbij verschillende gegevens gepresenteerd worden waaronder 
studenttevredenheid en de besluiten van de NVAO. 

De conclusie over de vergelijkingsmogelijkheid is dat er mede door andere 
publicatievormen veel inzichtelijk geworden is. Niettemin laat het publiceren van 
stelselbrede rapportages en sectorbeelden nog te wensen over. Het stelsel voldoet 
ten dele aan de standaard van transparantie. 
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ACC RE DIT ATI E LASTE N 



Standaard 8: Het accreditatiestelsel geeft niet meer administratieve lasten dan 
nodig. 



Conclusie 

Het accreditatiestelsel voldoet ten dele aan deze standaard: de baten 
overwegen volgens de betrokkenen zeer licht ten opzichte van de lasten. 

Instellingen ervaren bij de beoordelingen bijzonder veel administratieve lasten. 
Instellingen en opleidingen getroosten zich zeer veel moeite om een beoordeling 
voor te bereiden. Vooral bij natrajecten (voorwaarden, herstelperiode, bestuurlijke 
afspraken) vindt men de lasten haast niet meer verantwoord. Het aantal 
betrokkenen dat de baten nog steeds de lasten vindt overstijgen overheerst nog 
altijd licht, maar het is kantje boord. In het wetenschappelijk onderwijs zijn de 
betrokkenen het meest kritisch over de verhouding lasten - baten. 

Een groot deel van de lasten komt niet zozeer voort uit wat de beoordelingskaders 
aan verantwoording en voorbereiding vragen, dat is namelijk alleszins redelijk. De 
lasten komen vooral voort uit wat instellingen zelf, daartoe mede geprikkeld door 
externe ontwikkelingen (incidenten met persaandacht, prestatieafspraken, interne 
borging) en door de zware gevolgen van een negatief besluit, aan documentaire en 
informatieve zekerheden zoeken. Ondanks dat de oorzaken van deze lasten deels 
elders liggen, en de lasten subjectief beoordeeld zijn, kleven ze nu wel aan elke 
externe beoordeling, dus ook aan het accreditatiestelsel. 

Toelichting 

Ervaren verhouding lasten - baten 

De lasten veroorzaakt door een accreditatiestelsel zijn, net als die door toezicht, 
bijzonder moeilijk vast te stellen. Het is immers lastig onderscheid te maken tussen 
werkelijke lasten, lasten die de instelling zelf teweegbrengt terwijl zij denkt dat de 
accreditatie dat vraagt en lasten die normaliter behoren bij de interne kwaliteitszorg 
van de instelling. 

Deze standaard relateert de lasten alleen aan de baten. De vraag naar de afname 
van de lasten als gevolg van het nieuwe stelsel, een van de kerndoelen van de 
vernieuwing, beantwoorden we in hoofdstuk 12. 

Om deze standaard te kunnen beoordelen gaan we uit van wat de door ons 
ondervraagde betrokkenen in de instellingen voor lasten ervaren, en op de 
gesprekken die we met actoren en in de cases voerden. Ook bekeken we welke 
documentatie gevraagd wordt. We gaan hier enkel in op de vergelijking van de 
lasten met de baten. 

De baten overwegen licht 

Hoewel hier duidelijk verschillend over gedacht wordt, overwegen voor een 
meerderheid van de ondervraagde betrokkenen de baten van het stelsel. Met de 
stelling 'De inspanning van de beoordelingsprocedure weegt op tegen de baten van 
de procedure' is 45 procent het eens en 35 procent het oneens, 19 procent 
antwoordt niet eens/niet oneens. Anders gevraagd: 57 procent vindt de lasten van 
de beoordeling als geheel acceptabel, tegen 20 procent die dat niet het geval vindt. 
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Samenhang met soort hoger onderwijs 

Er zijn enkele interessante verschillen tussen hbo en wo en tussen bekostigd en 
niet-bekostigd onderwijs: in het wo vindt men de lasten relatief het zwaarst ten 
opzichte van de baten en in het niet-bekostigd onderwijs juist het minst. In lijn 
daarmee vindt men in het wo de lasten van sommige onderdelen van het proces 
minder acceptabel dan in het hbo en in het bekostigd onderwijs weer minder 
acceptabel dan in het niet-bekostigd onderwijs. Overigens zijn er enkele niet- 
bekostigde instellingen die de lasten juist veel te hoog vinden. Het zijn geen grote, 
maar wel significante verschillen. In alle sectoren overweegt nochtans het 
percentage betrokkenen dat de baten tegen de lasten op vindt wegen. 

Maatschappelijke baten 

Naast de door de betrokkenen zelf ervaren baten, zijn er ook maatschappelijke 
baten. Het is een groot goed dat het hoger onderwijs een stevige externe 
kwaliteitsborg kent. Dit draagt bij aan de kwaliteit van het hoger onderwijs. Dat 
geeft studenten en afnemend veld vertrouwen in de waarde van diploma's en van 
het door studenten behaalde niveau. Een hoger onderwijs van voldoende niveau 
draagt belangrijk bij aan het ontwikkelingsniveau van de samenleving en aan de 
Nederlandse economie. 



Welk onderdeel belast het meest? 

Dit zien we terug bij de antwoorden op de vraag of de lasten voor de verschillende 
onderdelen van het proces acceptabel zijn. Van de verschillende onderdelen van het 
proces vindt 62 tot 87 procent de lasten acceptabel. Daarbij blijkt verder dat de 
meeste lasten zitten in de interne voorbereidingen: het opstellen van de kritische 
zelfreflectie, het gereedmaken van de documenten en van de cijfermatige gegevens. 
De minste lasten ervaart men van het bezoek van het panel en het reageren op het 
conceptrapport. De niet-bekostigde instellingen vinden de lasten van de 
voorbereidingen acceptabeler dan het hbo en het wo. 

Men vindt het veel, maar nog net acceptabel. De acceptatie van de hoge lasten komt 
voort uit de ervaring dat er baten tegenover staan, maar ook met het draagvlak 
voor het accreditatiestelsel in het hoger onderwijs. Of zoals een respondent bondig 
zegt: 'Immers, het brengt wat op en we hebben het onderling zo afgesproken. ' 
Een ander citaat; 'Lasten zijn altijd acceptabel als men gemotiveerd is om te dragen 
en ze leiden tot een positieve uitkomst. Conclusie: lasten horen erbij.' 

De vraag is nu welke actor de meeste lasten creëert: de NVAO, de evaluatiebureaus 
en de panels of de instelling zelf. 

Wat vraagt de NVAO? 

De NVAO vraagt documenten, met nadruk bestaande en niet speciaal voor de 
beoordeling opgestelde documenten, op te sturen of klaar te leggen. De op te sturen 
of klaar te leggen informatie en documenten (zie de beoordelingskaders en de 
handreiking opleidingsbeoordeling) zijn naar ons oordeel voor een goede 
beoordeling een redelijke selectie van documenten. Het gaat hier inderdaad om 
documenten die bij een goed functionerende interne kwaliteitszorg zonder veel 
moeite beschikbaar zijn. Lasten ontstaan vooral als zaken intern niet op orde zijn. 
Zo ontstaat de last van de rendementscijfers die sinds enige tijd opgevraagd 
worden, vooral door het gebrek aan uniformiteit en helderheid in het hoger 
onderwijs met betrekking tot definities en berekeningen van studiesucces. De NVAO 
onderzoekt overigens momenteel de mogelijkheid deze gegevens rechtstreeks van 
de Dienst Uitvoering Onderwijs (DUO) te verkrijgen. Het niet-bekostigd onderwijs 
ervaart dit als belastend doordat de kengetallen niet goed aansluiten. 

Instellingen ervaren verder de natrajecten als zeer belastend: onverhoopt moet er - 
terwijl men dacht het werk achter de rug te hebben - nog weer veel energie 
gestoken worden in het opvolgen van aanbevelingen, het voldoen aan voorwaarden, 
het doorvoeren van verbeteringen voor de herstelperiode dan wel voor het nakomen 
van bestuurlijke afspraken. Al deze soorten vervolgtrajecten nemen, mede door het 
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bieden van meer maatwerk, sterk toe. Maar moet ook hier de belasting afgezet 
worden tegen de beoogde en mogelijk ook gerealiseerde kwaliteitswinst. 

Wat vragen de evaluatiebureaus en de panels? 

We hebben de handleidingen van NQA, Hobéon, QANU en Certiked VBI bekeken. De 
handleiding van NQA zou tot het opsturen van veel documenten kunnen leiden. De 
handleidingen van de andere bureaus vragen met nadruk niet meer op te sturen dan 
gevraagd, maar ook daar wordt soms aangeraden allerlei beschrijvingen klaar te 
leggen. En het werk zit niet in het opsturen, maar in het opzoeken, actualiseren of 
zelfs geheel schrijven van processen en procedures. 

Hobéon gaat in de toelichting vaak in op hetgeen niet onder een bepaalde standaard 
valt en legt relaties tussen de standaarden onderling. De handleiding van Certiked 
VBI is korter dan de andere bureaus. Over het geheel genomen kunnen de 
toelichtingen van enkele evaluatiebureaus tot meer voorbereiding en documentatie 
leiden. Alleen AeQui heeft geen handleiding opgesteld en verwijst naar het 
beoordelingskader van de NVAO. 

Ook de panels vragen regelmatig voor of tijdens het onderzoek om meer 
onderbouwing, of om meer afstudeerwerken. Dit wordt soms ook als belastend 
ervaren. 

Welke lasten creëert de instelling zelf? 

Veel wijst er op dat een groot deel van de lasten door de instellingen zelf gecreëerd 
wordt. Uit de enquête: 

Vooral de toenemende druk om steeds meer steeds uitgebreidere onderliggende 
documenten te hebben (zoals bijvoorbeeld een internationaliseringsnota waarin niet 
alleen dat aspect beschreven wordt, maar ook weer de samenhang naar 
doelstellingen, personeelsbeleid, et cetera) en om alles zeer planmatig (in 
doelstellingen over vijf jaar en stappenplannen hoe je daar moet komen) vast te 
leggen vormen een bureaucratische bedreiging voor de kwaliteitsCULTUUR. ' 

Nog een citaat: 

'Op de meeste instellingen is het systeem verder opgetuigd met interne 
tussenevaluaties en interne audits, proefvisitaties, et cetera. Ook rond examinering 
zijn allerlei extra activiteiten ontplooid. Hiermee zijn de kosten voor de 
kwaliteitszorg de pan uitgerezen en dat is ten koste gegaan van de beschikbare 
middelen om de kwaliteit te realiseren. ' 

Een voorbeeld van het omgekeerde bevestigt de invloed van de instelling zelf: bij 
een kleine niet-bekostigde instelling leverde de beoordeling weinig belasting, omdat 
men zelf veel geleerd had van de vorige beoordeling, weinig schijven voor overleg 
heeft en een goede archivering van documenten. 

Autonome lastenverhoging 

Er zijn diverse autonome ontwikkelingen die bijdragen aan een verhoging van de 
administratieve lasten: 

o Investering in de interne kwaliteitszorg en het interne toezicht, mede 

gestimuleerd door de instellingstoets, veroorzaakt meer interne sturings- en 
verantwoordingsdocumenten en informatiestromen. 

o De prestatieafspraken leiden tot extra interne mechanismen van sturing en 
verantwoording op de afgesproken prestaties. 

o Recente incidenten, waaronder het onderzoek van de inspectie en de NVAO 
naar alternatieve afstudeertrajecten, leiden tot de roep om extra interne 
waarborgen en zekerheden, bijvoorbeeld rond de examenprocedures en 
regelingen. 
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o Het gevoel dat de inspectie veel procedurele en juridische waarborgen 
vraagt. Zo zagen we een opleiding waar de OER inmiddels uit 320 pagina's 
bestaat met het interne beeld dat dit allemaal van de inspectie moet. 

o Er heerst een zekere angst voor incidenten met alle publicitaire gevolgen 
van dien. Men wil zich daarom zo veel mogelijk indekken en het zekere - 
nog meer documentatie - voor het onzekere nemen. 

o De voorafschaduwing van het meewegen van accreditatiebeoordelingen in 
prestaties en zelfs bekostiging leidt tot meer neiging tot indekken en dus 
extra lasten. Sommigen met wie wij spraken vinden de druk op de 
beoordelingen, en met name op de afstudeerwerken, te groot worden. We 
spraken een instelling waar sommige docenten geen begeleider van 
afstudeerscripties meer willen zijn, de lol is er af. Ook zijn er docenten die 
geen zes meer durven te geven. 

Hierbij is deels sprake van investeringen in de interne kwaliteitszorg en in hogere 
kwaliteit, waarbij de lat van de na te streven kwaliteit de laatste jaren hoger is 
komen te liggen. Zo bezien wegen de lasten die dit meebrengt nadrukkelijk tegen de 
baten op. 

Voor het overige lijkt er een verantwoordingsdruk te ontstaan waar instellingen zich 
niet goed aan kunnen onttrekken. Deze ontwikkeling loopt parallel aan de invoering 
van het nieuwe accreditatiestelsel. Het gevolg is dat elke externe beoordeling, dus 
ook die in het accreditatiestelsel, momenteel bijzonder veel belasting oproept. 

Ongelijke verdeling over de jaren heen 

De collectieve start van het stelsel in 2002 heeft periodieke pieken en dalen 
gecreëerd. Dit zorgt bij perioden voor belangrijke opeenhopingen van 
beoordelingen, ook wel stuwmeren genoemd. Ook de veelvoorkomende 
accreditatiedatum van 1 januari draagt daaraan bij. In de piekperiodes geeft dit 
extra veel belasting, niet alleen voor de uitvoerders NVAO, de evaluatiebureaus en 
het reservoir aan panelleden, maar ook bij de instellingen. Er is een wetswijziging 
nodig om de NVAO hierin meer bewegingsruimte te geven. 

Met name in het wo wordt eind 2013 een piek verwacht vanwege de vervaldatum 
van accreditatietermijnen van veel opleidingen. In 2013 verloopt de accreditatie van 
circa zeshonderd opleidingen, waaronder vierhonderd in het wo, in 2014 verloopt de 
accreditatie van circa achthonderd opleidingen waaronder vijfhonderd in het wo. 
Ter vergelijking, het evaluatiebureau QANU, dat vrijwel alle accreditaties verzorgt in 
het wo, stelde in 2012 123 panels samen. QANU heeft aangegeven een groot 
kwaliteitsprobleem te ervaren door de fluctuatie van drukke en stille jaren, omdat 
het bureau geen projectleiders in vast dienstverband kan aannemen en met 
wisselende zzp'ers werkt. 
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DEKKING 



Standaard 9: Alle opleidingsvarianten op alle vestigingen van bekostigde nieuwe en 
bestaande opleidingen die ten tijde van de beoordeling verzorgd worden, zijn 
beoordeeld, evenals alle opleidingsvarianten en vestigingen van niet-bekostïgde 
geaccrediteerde opleidingen. 



Conclusie 

Het accreditatiestelsel dekt in voldoende mate nieuwe en bestaande 
opleidingen en de ten tijde van de beoordeling bestaande locaties en 
varianten. 

Over het geheel genomen is het een voldoende dekkend systeem. De registratie bij 
DUO geeft voldoende garanties. Het risico dat men varianten of vestigingen niet 
allemaal goed onderzoekt, wordt door nauwkeuriger werken steeds kleiner, hoewel 
zich dat incidenteel nog steeds kan voordoen. Minder dekking kan ook ontstaan als 
direct na een accreditatie nieuwe, afwijkende varianten of afstudeerrichtingen 
ontwikkeld worden. Deze hoeven pas bij de volgende accreditatie beoordeeld te 
worden, tenzij ze substantieel afwijken. Ook presenteren incidenteel instellingen, 
met name niet-bekostigde, een opleiding ten onrechte als geaccrediteerd. 

Toelichting 

Opleidingen zijn geaccrediteerd naar variant (voltijd, deeltijd of duaal) en 
vestigingsplaats. Beide kenmerken staan in het opleidingenregister CROHO. Hoewel 
dit wettelijk niet geregeld is, heeft een beoordeling volgens de beoordelingskaders 
betrekking op alle varianten en vestigingen. Deze dienen dan ook daadwerkelijk 
beoordeeld te zijn, tenzij het evident is dat het om een identiek curriculum en 
identieke uitvoering gaat, bijvoorbeeld omdat hetzelfde team meerdere varianten 
verzorgt. In het beoordelingskader wordt hier nadrukkelijk op gewezen en de 
instelling dient bij haar aanvraag alle varianten en vestigingen te melden. 

De evaluatiebureaus die wij spraken, bespreken steeds in de voorbereiding met de 
instelling in welke varianten en vestigingen de opleiding verzorgd wordt, dan wel 
gaat worden. Afhankelijk van de verschillen richt het bureau het onderzoek in. 

Er verschijnen daadwerkelijk meer beoordelingen (met aparte tabellen of rapporten) 
per opleiding, zo blijkt uit onze analyse van rapporten. In de onderzochte periode 
verschenen 239 afzonderlijke beoordelingen over 186 opleidingen; dus 53 
beoordelingen betroffen dusdanig afwijkende varianten of vestigingen dat een 
aparte beoordeling nodig was. 

Niettemin vernamen we ook dat sommige opleidingen, bijvoorbeeld bij de 
geesteswetenschappen, veel afstudeervariaties kennen. Deze zijn niet allemaal door 
deskundigen in het panel te dekken, wat het beoordelen van de eindwerkstukken 
bemoeilijkt. Een panel heeft dan immers niet overal verstand van. 

Bij het langdurige beoordelingsproces en de ondertussen doorgaande ontwikkeling 
van opleidingen, geeft dat soms lastige situaties. Soms ontwikkelt bijvoorbeeld de 
instelling tijdens een accreditatieproces een nieuwe variant. Ook komt het voor dat 
de variant er nog niet was tijdens de visitatie, maar wel startte ten tijde van het 
accreditatiebesluit. Men zoekt dan verantwoorde oplossingen, zoals een aanvulling in 
de beoordeling. Dit heeft er wel toe geleid dat instellingen geadviseerd wordt om 
tijdens zo'n proces niets nieuws te beginnen en te wachten tot het besluit er is. Het 
is wettelijk toegestaan om daarna nieuwe varianten of afstudeerrichtingen te 
starten, wat dan ook veelvuldig gebeurt. Deze worden pas bij de volgende 
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accreditatie beoordeeld. Dit leidt echter wel tot een 'gat' in de dekking, wat echter 
niet door actoren in het stelsel, maar door de wetgever gecreëerd is. Het is inherent 
aan periodieke beoordelingen zonder tussentijdse monitoring. Dit geeft minder 
transparantie voor studenten en samenleving. 

Verder heeft de NVAO procedures voor situaties waarin de opleiding aanmerkelijk 
van karakter verandert. Daarvoor hanteert men de vuistregel van 40 procent van 
het curriculum. Zo kan bijvoorbeeld een brede bachelor starten die opgebouwd is uit 
drie smallere opleidingen. Dan geldt de accreditatietermijn die het eerst verloopt 
van één van de drie oude opleidingen. 

Instellingen dienen opleidingen zelf in CROHO te laten registreren met varianten en 
vestigingen. Daarbij controleert DUO of er een besluit van de NVAO aan ten 
grondslag ligt. DUO waarborgt derhalve dat er geen opleidingen geregistreerd 
worden die niet positief beoordeeld zijn. Aan de DUO-registratie is voor het 
bekostigd onderwijs de bekostiging gekoppeld, voor alle voltijds opleidingen de 
studiefinanciering en voor alle opleidingen het recht op graadverlening. Bij 
beëindiging van de periode van een nieuwe opleiding of de accreditatieperiode van 
een bestaande opleiding, verwijdert DUO automatisch de opleiding uit het register 
tenzij er tijdig een nieuw besluit beschikbaar is. Daarmee wordt ook de rechten op 
bekostiging, gradering en studiefinanciering beëindigd. 

Of er opleidingen in opleidingsvarianten of vestigingen verzorgd worden die niet in 
de beoordeling en het besluit betrokken zijn geweest, valt alleen op grond van 
signalen na te gaan. De inspectie ontving de laatste jaren incidenteel signalen over 
opleidingen op websites van een beperkt aantal niet-bekostigde instellingen waarvan 
ten onrechte gemeld of gesuggereerd wordt dat deze geaccrediteerd zijn, en over 
instellingen die niet-verkorte bekostigde varianten aanbieden. De signalen worden 
doorgegeven aan de NVAO die daarop steevast actie onderneemt. 
Het beleid en de uitvoering in het stelsel is er voldoende op gericht om deze 
dekkingsproblemen tegen te gaan. 

Het komende stuwmeer van een grote groep te beoordelen opleidingen in 2013 en 
2014 leidt bij evaluatiebureaus tot zorgen over de zorgvuldigheid van beoordelingen 
en tot risico's voor de dekking (zie hoofdstuk 9). 

Ten slotte is er een dekkingsprobleem bij de beoordeling van nieuwe opleidingen: 
deze kan alleen op basis van de voornemens uitgevoerd worden, waarna de 
beoordeling van de realisatie pas zes jaar later plaatsvindt. Het voornemen in het 
wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs om al na drie jaar 
een toets van het gerealiseerde eindniveau en de examinering uit te voeren, kan 
hierin voorzien. 
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WETTELIJKE VEREISTEN 



Standaard 10: Het accreditatiestelsel voldoet aan de wettelijke vereisten. 



Conclusie 

Het accreditatiestelsel voldoet goed aan de wettelijke vereisten. 

Er zijn geen waarnemingen gedaan die duiden op het niet naleven van de wettelijke 
bepalingen in WHW en nadere regelgeving. 

Toelichting 

De WHW bevat gedetailleerde voorschriften voor de inrichting van het 
accreditatiestelsel. De reden hiervoor is dat aan een accreditatie rechten verbonden 
zijn, namelijk het recht op gradering, diplomering en studiefinanciering, op 
registratie in het CROHO en voor de bekostigde instellingen het recht op 
bekostiging. 

Wij hebben geen aanwijzingen dat deze voorschriften niet nageleefd worden. 
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EVALUATIE INVOERING NIEUWE STELSEL 



We evalueren hier de mate waarin het nieuwe stelsel de doelen van de 
aanpassingen bereikt heeft. We herhalen hier het uitgangspunt dat we hierin recht 
doen aan het gegeven dat het nieuwe stelsel nog maar kort geleden is ingevoerd, en 
nog tijd nodig heeft om goed uit te kristalliseren. We volgen de doelen zoals 
genoemd in de desbetreffende Memorie van Toelichting. 

1. Vermindering van de administratieve lasten 

Volgens de MvT zou administratieve lastenverlichting bereikt moeten worden door 
centraal te regelen aspecten van kwaliteit alleen nog op centraal niveau te 
beoordelen en niet meer op opleidingsniveau. 

Aan dit doel is tot nu toe niet voldaan. Het is duidelijk dat het nieuwe stelsel volgens 
de ondervraagde betrokkenen tot nu toe geen vermindering van lasten heeft 
gebracht: dat vindt namelijk 58 procent tegenover 13 procent die wel een 
vermindering ziet. De rest antwoordt neutraal of weet het niet. Dit verschilt niet 
tussen wo, hbo en niet-bekostigd onderwijs. 

In de cases worden de volgende oorzaken genoemd: 

De instellingstoets is er bijgekomen. Deze geeft in zichzelf een hoge 
belasting. Doordat de audittrails bij opleidingen pas kort tevoren worden 
aangekondigd, vergt dit voor alle opleidingen voorbereiding. 
Dit zou tot reductie moeten leiden door het beperkte opleidingsregime. Het 
beperkte beoordelingskader laat inderdaad een aantal algemene 
onderwerpen achterwege, maar noodzaakt tot meer diepgang in de 
resterende onderwerpen. Deze diepgang levert meer werk op; volgens 
sommigen is dit zelfs meer dan de lastenvermindering door reductie van de 
algemene onderwerpen. Netto resulteren volgens hen zelfs meer lasten. 
Hierbij speelt ook een rol dat de verbreding van de standaarden in het 
beperkte regime, zonder precisering van criteria, tot meer onzekerheid leidt. 
Instellingen reduceren dit door meer documenten op te stellen en aan te 
leveren. 

De procedurele eisen zijn aangescherpt, onder andere over het aantal 

afstudeerscripties dat gelezen moet worden en indien nodig aanvullende 

scripties, het houden van een open spreekuur, at random lesbezoeken, 

spreken met alumni. Ook is de toetsing belangrijker geworden en men 

spreekt meer docenten en uitgebreider met de examencommissie. 

Er worden nu meer cijfers over de instelling en de opleiding gevraagd dan 

vroeger. 

Daarbij komen enkele autonome ontwikkelingen: 

o De eisen worden hoger, bijvoorbeeld de eisen aan de 

examenwerkstukken; dit heeft te maken met een algemene druk op 
de kwaliteit van het hoger onderwijs als gevolg van Veerman, de 
prestatieafspraken en incidenten als Inholland. 
o Er gaat meer van een beoordeling afhangen, waardoor de druk op 
de betrokkenen toeneemt. 
Een uitgebreid overzicht van alle autonome ontwikkelingen staat in 
hoofdstuk 9, we herhalen dat hier niet. 

Al deze ontwikkelingen leiden tot meer onzekerheid, meer voorbereiding en algeheel 
meer lasten. Hoewel dit zeker niet allemaal aan de vernieuwing van het 
accreditatiestelsel valt toe te schrijven, zijn het wel reële lasten die momenteel aan 
een beoordeling verbonden zijn. 
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Het is goed mogelijk dat alle betrokkenen, panels en instellingen, er nog aan 
moeten wennen om bij het beperkte kader een aantal algemene zaken, zoals 
personeelsbeleid en de borging, niet meer te behandelen. Daaruit kan dan op den 
duur een verlichting voortkomen, hoewel het nog te veel beoordelen maar één van 
de factoren is. 

2. Meer stimulering van de kwaliteitscultuur van instellingen en 
opleidingen 

Volgens de MvT moet het stelsel uitnodigen tot visie en beleid op kwaliteit, met 
behoud van verschillen tussen instellingen. 

Hier past een voorzichtig positief antwoord. 

Er is de laatste jaren duidelijk meer aandacht voor kwaliteit en er lijkt zich 
geleidelijk een kwaliteitscultuur te ontwikkelen. Uit de gesprekken, de cases en de 
enquête komt het beeld naar voren van een toenemende stimulans om de kwaliteit 
te willen kennen en te verbeteren. Hoewel vele ontwikkelingen in het hoger 
onderwijs hiertoe uitnodigen, draagt ook het accreditatiestelsel daar ongetwijfeld toe 
bij. Zo draagt de ITK bij aan meer betrokkenheid van het bestuur bij de kwaliteit, 
meer sturing op kwaliteit en scherpere bewaking. Bij de opleidingsbeoordelingen is 
volgens de betrokkenen een accentverschuiving merkbaar van aandacht voor 
procedures en processen naar de inhoud van de opleiding. Dit vindt men in hoge 
mate stimulerend. 

3. Meer focus op kwaliteit en de inhoud van de opleiding; de resultaten van 
de opleidingen moeten meer op de voorgrond komen 

Volgens de MvT krijgt daarmee in de peer review y het deskundigenoordeel, het 
timmermansoog, alle ruimte'. Dit moet 'een betere balans geven tussen 
verantwoording en verbetering'. 

Ook dit doel, dat sterk samenhangt met het vorige, lijkt bereikt te worden. Er is in 
de gesprekken meer aandacht gekomen voor de inhoud en de resultaten van de 
opleidingen dan bij de uitgebreide beoordelingen. 

4. Verschillen in kwaliteit beter zichtbaar 

Ook zullen volgens de MvT verschillen in kwaliteit boven het basisniveau zichtbaar 
gemaakt moeten worden. 

De introductie van een bredere beoordelingsschaal met de categorieën goed en 
excellent, die ook daadwerkelijk worden gebruikt, maakt verschillen boven het 
basisniveau niet alleen zichtbaar, het stimuleert instellingen ook om naar deze 
beoordelingen te streven. In dat opzicht beperkt de reductie van het aantal 
standaarden van zestien naar drie de mogelijkheid om deze kwalificaties te behalen. 
We zagen opleidingen die om die reden liever met het uitgebreidere regime 
beoordeeld wilden worden, dan konden ze op een aantal aspecten een goed en zelfs 
een excellent verkrijgen. 

Ook de nieuwe publicatie van de NVAO op haar website van overzichten van 
excellente en goede opleidingen en opleidingen met een voorwaardelijke beoordeling 
en een herstelperiode draagt hier aan bij. 

De mogelijkheid om de verschillen ook publiekelijk zichtbaar te maken, wordt helaas 
beperkt door het gebrek aan niet-geanonimiseerde, publieke overzichtspublicaties. 

Verschillen tussen opleidingen in het nieuwe stelsel worden al met al beter 
zichtbaar. 
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5. Meer maatwerk in het stelsel 

De MvT verwacht meer maatwerk door invoering van een hersteltijd waar dat nodig 
is en de mogelijkheid sneller op te kunnen treden en opleidingen te beëindigen. 

Het is duidelijk dat van de voorwaarden en de herstelperiode goed gebruik gemaakt 
wordt. Hiermee wordt duidelijk in een behoefte voorzien. De vraag is of er nu 
voldoende maatwerkmogelijkheden zijn. 
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CONCLUSIES, AANBEVELINGEN, BESCHOUWING EN 
VERVOLGTOEZICHT 



Conclusies 

Het Nederlandse accreditatiestelsel is van voldoende kwaliteit. Het is een krachtig, 
breed gedragen stelsel met een duidelijk kwaliteitsbevorderend effect. Er heerst een 
sterk gevoel van eigenaarschap: het is ons stelsel, wij hebben hier samen voor 
gekozen. Tegelijk zien we een aantal knelpunten en risico's. 

De sterke kanten zijn: 

o Het onmiskenbare draagvlak. Het stelsel is voortgekomen uit het visitatiestelsel 
van de koepels en die herkomst is nog altijd merkbaar: het is ondanks de 
wettelijke regeling en de komst van een verder van het veld afstaande NVAO, 
nog altijd deel van het hoger onderwijs. Dit maakt dat de beoordelingen 
doorgaans geaccepteerd worden en dat de grote lasten eerder gedragen 
worden. Wel valt recent een kentering in het draagvlak te bespeuren in het 
wetenschappelijk onderwijs. 

o Het stelsel is ondanks het grote aantal betrokkenen een zorgvuldige, goed ge- 
oliede machine, mede dank zij de evaluatiebureaus, met een groot aantal 
kwaliteitswaarborgen. 

o Het stelsel heeft een zekere verbetercapaciteit: het verbetert zichzelf langzaam 
maar zeker. Op de onderdelen die de NVAO zelf beheert gaat dat sneller dan op 
wettelijk geregelde elementen. Zo is recent de lat hoger komen te liggen, 
worden panels beter samengesteld, gaat het meer om de inhoud en zijn 
rapporten leesbaarder geworden. 

o Sterk is ook de grote vakinhoudelijke deskundigheid van de panels. Er wordt 
veel aandacht besteed niet alleen aan de onafhankelijkheid, maar met name ook 
aan de vakinhoudelijke en werkvelddeskundigheid van de panels. 

o Dit draagt in hoge mate bij aan de stimulans die de beoordeelden ervaren voor 
de kwaliteit van hun opleiding. Wel zien we dat bij voorwaardelijke of negatieve 
beoordelingen de stimulans minder ervaren wordt. 

Maar er doen zich ook knelpunten voor: 

o De hoge administratieve lasten zijn ondanks geschapen verwachtingen in het 
nieuwe stelsel niet minder geworden. Hier spelen drie factoren een rol: de lasten 
van de opleidingsbeoordeling is door meer diepgang in het beperkte kader niet 
minder geworden, de instellingstoets is erbij gekomen en er zijn factoren buiten 
het accreditatiestelsel in dezelfde periode die tot meer lasten hebben geleid. 
Overigens staan hier zeker ook baten tegenover, zoals toename in kwaliteit en 
kwaliteitszorg en de maatschappelijke baten van goed hoger onderwijs. 

o De betrouwbaarheid van de beoordelingen kan gezien het nog maar korte 
bestaan van het nieuwe stelsel nog niet goed vastgesteld worden. Het is van 
belang dit goed te onderzoeken, aangezien onduidelijkheid hierover in 
samenhang met de hoge administratieve lasten op den duur het draagvlak 
kunnen ondermijnen. 

o De validiteit van de beoordelingen dient verbeterd te worden: de meetlat laat 
enkele publiek verwachte aspecten van kwaliteit onderbelicht. Dit geeft het risico 
dat er positieve beoordelingen in het stelsel gelogenstraft worden door 
negatieve ervaringen met niet-beoordeelde aspecten. ('Hebben ze wel gezien 
hoe slecht ze hier lesgeven?', 'Hoe kan bij deze goedgekeurde opleiding de uitval 
zo hoog zijn?'). Dergelijke discrepanties tussen de feitelijk uitgevoerde en de 
door belanghebbenden verwachte meting kunnen afbreuk doen aan het 
vertrouwen in het stelsel. 
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o In de kwaliteitsborging op het niveau van het Nederlandse stelsel heeft een 
systematische evaluatie van de betrouwbaarheid en validiteit van de 
beoordelingen ontbroken. Overigens is daar recent een begin mee gemaakt. 

o De instellingstoets stelt sommige instellingen teleur: deze is veeleisender dan 
verwacht. Sommige instellingen hebben meer tijd nodig om de kwaliteitszorg op 
orde te krijgen. 

o De kwaliteit van de individuele opleidingen wordt weliswaar op vele 

verschillende manieren in beeld gebracht, maar er zijn tot nu toe erg weinig 
vergelijkende clusterevaluaties verschenen, die door studenten, docenten en 
management gebruikt kunnen worden voor de keuze dan wel verbetering van de 
opleiding. 

Aanbevelingen 

De inspectie beveelt aan de volgende verbeteringen door te voeren. Deze zijn 
gericht op een verdere verbetering van uitsluitend het Nederlandse 
accreditatiestelsel. Wij richten ons daarbij op de actoren in het stelsel: overheid, 
NVAO, evaluatiebureaus, panels en instellingen. Daar waar de NVAO als hoofdactor 
genoemd wordt, zijn de aanbevelingen in formele zin geadresseerd aan het Comité 
van Ministers aangezien de NVAO gezien het Verdrag regardeert onder het Comité. 

1. Evalueer de betrouwbaarheid 

Er dient door de NVAO, in samenspraak met de evaluatiebureaus, meer 
onderzoek gedaan te worden naar de betrouwbaarheid van de beoordelingen 
zodra in het nieuwe stelsel voldoende gegevens beschikbaar zijn. Hierbij kan 
ondersteuning gezocht worden bij externe methodologen. Scherpere en meer 
gedifferentieerde beoordelingen stellen - ter behoud van acceptatie en 
draagvlak - hogere eisen aan de betrouwbaarheid. 

2. Verbeter en bewaak de validiteit 

De validiteit van de beoordelingen dient door de NVAO verbeterd te worden. Dit 
kan door meer zicht te krijgen op de door stakeholders verwachte, publieke 
kwaliteit en aspecten in deze verwachtingen die in de kaders en in het feitelijke 
beoordelingsproces onderbelicht zijn te identificeren. Vervolgens kunnen de 
beoordelingskaders en de beoordelingspraktijk hierop aangevuld worden. Dit 
rapport biedt al enige aanknopingspunten voor verbeteringen. De wet biedt hier 
door de formulering 'ten minste' bij de bepalingen over de beoordelingscriteria 
voldoende ruimte voor. 

3. Bestrijd samen actief de administratieve lasten 

Overheid, NVAO, evaluatiebureaus, panels, instellingen en inspectie dienen 
samen actief de administratieve lasten van het stelsel te bestrijden. Dit kan 
onder andere door meer beperking in de handleidingen van de bureaus, meer 
discipline bij de panels en door met instellingen te bespreken hoe zij de door 
henzelf teweeggebrachte lasten kunnen beperken. De overheid kan hieraan 
bijdragen door de druk op beoordelingen, bijvoorbeeld via de 
prestatieafspraken, niet verder te vergroten; deze druk is als gevolg van de 
openbaarheid al groot genoeg. Vanuit dit perspectief kan ook nog eens naar de 
wens tot clustering in het hbo gekeken worden. Het werken met visitatiegroepen 
kan gunstig zijn voor de betrouwbaarheid en transparantie, maar tegelijk meer 
(piek)belasting en vertragingen opleveren. 

Verder kunnen mogelijkheden tot een meer selectieve (in plaats van de huidige 
generieke) benadering verkend worden. Wellicht is selectie mogelijk op basis 
van een positieve instellingstoets aangevuld met een eerste beoordeling van 
werkstukken en betekenisvolle kengetallen op opleidingsniveau. Dit kan tot 
meer proportionaliteit leiden in de duur van de accreditatieperiode, dan wel in 
intensiteit van de opleidingsbeoordeling. De wetgever zou hiertoe de NVAO meer 
bewegingsruimte kunnen bieden. Daarbij moet een afweging plaats vinden van 
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de evidente voordelen van een periodieke peerreview tegenover de almaar 
toenemende belasting. 

4. Bied meer compliance assistance rond kwaliteitszorg 

Het is van belang dat instellingen zich beter bewust zijn van wat een 
daadwerkelijk functionerend kwaliteitszorgsysteem inhoudt. De NVAO kan, nu er 
inmiddels veel ervaring is opgedaan, instellingen hierbij steun en verduidelijking 
bieden. Met name standaard 1 leidt gemakkelijk tot misverstanden over wat hier 
bedoeld wordt. De beoordeling van de borging op instellingsniveau is een andere 
dan de opleidingsbeoordeling en instellingen lijken daar niet allemaal even goed 
op voorbereid: van de negentien behandelde aanvragen zijn er tien direct 
positief bevonden en twee met voorwaarden. De overige zeven hebben zich 
teruggetrokken, al dan niet na een eerste (proef)beoordeling. Waarschijnlijk is 
er voor sommige instellingen meer tijd nodig de interne kwaliteitszorg op orde te 
krijgen. Instellingen die de ITK begin 2011 aangevraagd hebben, moeten de 
aanvraag eenvoudiger terug kunnen trekken of uit kunnen stellen, door ze bij 
het intrekken van de aanvraag de keus te laten tussen het beperkte en 
uitgebreide regime. De beloning in lasten door het beperkte regime is immers 
geen beloning gebleken. Het weer overdoen van beoordelingen met het 
uitgebreide kader is echter een onevenredig grote boete. 

5. Verbeter verder de publieke vergelijkbaarheid van opleidingen 

De toegankelijkheid van uitkomsten van de beoordeling van vergelijkbare 
opleidingen voor het publiek kan verder vergroot worden door de al bestaande 
overzichten en publicaties aan te vullen met sectorbeelden. Deze dienen niet 
geanonimiseerd te zijn en publicatie dient niet afhankelijk te zijn van de 
instemming van de instellingen. 

Naast deze aanbevelingen bevat het rapport tal van aanknopingspunten tot kleine 
verbetering. Deze herhalen we hier niet, het is aan de actoren deze te benutten. 

Beschouwing 

Het stelsel wordt doeltreffender 

De veranderingen in het stelsel zijn bij elkaar bedoeld om het accreditatiestelsel 
doeltreffender te maken. Hoe effectief is nu het stelsel? 

Over het geheel genomen was het oude stelsel doeltreffend als het gaat om het 
'leggen van de bodem' (NVAO, Jaarverslag 2010). Dat wil zeggen dat er afkeuringen 
waren van opleidingen die werkelijk niet aan de basisnorm voldeden, maar zeker 
ook door de vele terugtrekkingen tijdens het proces. Er waren opleidingen waar een 
proefaudit of panelboordeling tot negatieve uitkomsten leidden, en waar de instelling 
geen heil in verbetering zag. De instelling trok dan de aanvraag voor een toets 
nieuwe opleiding of accreditatie in, waardoor een negatief besluit vermeden werd. Er 
was in het oude stelsel zeker sprake van een zuiverende werking. 

Niettemin lag de lat toen niet erg hoog, er was een tendens naar een positieve 
uitkomst, wat afbreuk deed aan de doeltreffendheid: het had effectiever gekund. 

In het nieuwe stelsel lijken door de wettelijke veranderingen, maar zeker ook door 
aanpassingen die de NVAO en de evaluatiebureaus doorvoerden, de beoordelingen 
scherper en de doeltreffendheid groter te worden. Wel is de effectiviteit sterk 
afhankelijk van de betrouwbaarheid en de validiteit: het moeten wel de juiste 
opleidingen zijn die afvallen, dan wel doorgelaten worden. Dit element van de 
doeltreffendheid verdient veel aandacht. Ook de stimulerende werking die 
betrokkenen zelf ervaren, mede door een zorgvuldige panelsamenstelling, duidt op 
een toenemende effectiviteit. De waarborg wordt krachtiger, en de 
kwaliteitsbevordering neemt toe. Daar hoort overigens ook toenemende weerstand 
vanuit de beoordeelden bij. 
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Peers versus professionals 

Een sterk element in het stelsel is de beoordeling door onafhankelijke, deskundige 
peers. Vooral de laatste jaren wordt er steeds zorgvuldiger omgegaan met de 
selectie van panelleden. Opleidingen stellen het zeer op prijs, en ervaren het ook als 
stimulerend, om beoordeeld te worden door deskundigen in het vakgebied van de 
opleiding. Ondanks de ervaring dat het niet zozeer open gesprekken tussen 
gelijkgezinden zijn, maar wel degelijk formele, beoordelende gesprekken. De panels 
weten waar ze het over hebben. 



Niettemin zijn er ook knelpunten aan een peerbeoordeling verbonden. We noemen 
deze hier, nadrukkelijk zonder peerreview ter discussie te willen stellen. Een 
knelpunt is dat het soms lastig is om voor alle opleidingen, vooral de zeer 
gespecialiseerde, goede peers in Nederland te vinden. Verder zijn peers mogelijk 
minder sterk in het beoordelen van meer formele 'harde' aspecten van kwaliteit: 
houdt men zich aan de kernpunten van de wet, niet alleen op papier, maar ook in de 
realiteit?, hoe beoordelen we het studiesucces, wat zijn precies de rendementscijfers 
in vergelijking met andere opleidingen, dan wel met een norm? 
Ook is het aannemelijk dat peers weliswaar goed zijn in het leggen van de vinger op 
de zere plekken in een opleiding, maar er voor terugdeinzen om daar tegenover hun 
collega's onvoldoendes voor uit te delen. Zij hebben van nature meer oog voor 
kwaliteitsverbetering door de terugkoppeling zelf, 'de spiegel voorhouden', en 
minder voor die door middel van een publiek negatief oordeel, laat staan voor de 
waarborgfunctie. 

Dat het stelsel tot 2011 niet scherp genoeg was, heeft ongetwijfeld te maken met 
het ontbreken van een herstelmogelijkheid, maar kan zeker ook verbonden zijn aan 
het peersysteem. Het gemis aan herstelmogelijkheid hoeft niet de enige factor te 
zijn. Het is dan ook afwachten hoe de beoordelingen in tweede termijn, dus van 
herstel dan wel van voorwaarden, uit gaan pakken. Durven de panels bij 
onvoldoende vorderingen dan wel negatief te oordelen? 

Een veelvoorkomende praktijk is om te werken met professionele voorzitters. Dit 
kan enkele beperkingen van het peersysteem opheffen: meer ervaring en daardoor 
gevoel voor de normstelling en minder angst om collega's publiekelijk te 
veroordelen. Ook zou dit een kerngroep in het stelsel opleveren met wie 
gemakkelijker consensus over de toepassing van de standaarden en de normstelling 
bereikt kan worden. Te overwegen valt daarom om meer te werken met panels 
samengesteld uit vakinhoudelijke peers en professionele voorzitters. 

Dat de peerreview de kern van het accreditatiestelsel moet blijven, is echter 
volstrekt evident. 



Stelsel onder druk 

Hoewel het draagvlak voor het accreditatiestelsel groot is, zien we recent dat dit in 
de universitaire wereld onder druk komt te staan. Dit heeft te maken met een 
complex van factoren: 

o Het stelsel wordt scherper: er volgen meer voorwaardelijke en negatieve 

beoordelingen met meer vervolgtrajecten. Dit is een gewenste ontwikkeling: 

het draagt bij aan het verhogen van de lat. Maar tegelijk roept het bij 

instellingen die het treft, en die vrezen voor hun imago, begrijpelijke en 

deels onvermijdelijke weerstand op. 
o De administratieve lasten nemen niet af, maar lijken, deels ook door 

factoren buiten het stelsel, alleen maar toe te nemen, 
o De vragen in het veld rond de betrouwbaarheid en validiteit van de 

beoordelingen nemen toe, overigens ook mede als gevolg van de meer 

kritischer beoordelingen. 
Zo zien we dat de weerstand als gevolg van scherpere beoordelingen gevoed wordt 
door de grote lasten en door onduidelijkheid over de betrouwbaarheid. We zagen 
eerder al dat de verhouding baten - lasten in het wetenschappelijk onderwijs als 
ongunstiger ervaren werd dan in het hbo. Dit kan overigens ook te maken hebben 
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met het fenomeen dat hoe hoger de kwaliteit al is, des te geringer de toegevoegde 
waarde van externe beoordelingen is 

Het is belangrijk dat de aanbevelingen stelselmatig aangepakt worden. Bij een 
scherp stelsel horen betrouwbare en valide beoordelingen. Bij scherpe beoordelingen 
is een zorgvuldige communicatie vaak erg belangrijk. Daarbij dient gewaakt te 
worden voor aanpassingen die afbreuk doen aan de toegenomen en gewenste 
scherpte. 

De kracht van het stelsel: beelden en perspectief 
Het accreditatiestelsel heeft vanaf de start te maken met een kritische 
beeldvorming. De beelden van de slager die het eigen vlees keurt en van de 
vakbroeders die elkaar de hand boven het hoofd houden komen steeds weer terug. 
Dergelijke beelden kunnen gevoed worden door de wederzijdse betrokkenheid 
tussen stelsel en onderwijsveld en door de kwetsbaarheid van peerbeoordelingen. 
Ook het tot 2011 bestaande gebrek aan scherpte kan aan deze beeldvorming 
bijgedragen hebben. 

Wij constateerden hiertegenover een zorgvuldige oordeels- en besluitvorming. De 
panels zijn over het geheel zeer deskundig en worden met een goede waarborg voor 
de onafhankelijkheid samengesteld. En de NVAO neemt haar verantwoordelijkheid 
voor de besluiten zeer serieus en weegt de paneloordelen steeds opnieuw. De 
beeldvorming is aan herziening toe. 

Al met al concluderen we dat het accreditatiestelsel thans een deugdelijk en krachtig 
stelsel is met een goede stimulerende werking. De hier gesignaleerde knelpunten 
zijn goed oplosbaar. Het stelsel blijkt een heel behoorlijk leervermogen te hebben. 
Wij zien voldoende perspectief voor verdere versteviging. Het lastigste aan te 
pakken is waarschijnlijk de grote belasting voor de betrokkenen. Dat vereist een 
gezamenlijke aanpak van vele betrokkenen. 

Vervolgtoezicht 

Na afloop van het onderzoek zal de inspectie het onderzoek en het concept 
Toezichtkader accreditatiestelsel samen met de NVAO evalueren. Daarna wordt het 
kader bijgesteld en via de gangbare WOT-procedure vastgesteld en goedgekeurd. 

De inspectie zal over twee jaar, begin 2015, onderzoek doen naar de verbeteringen 
zoals genoemd in de aanbevelingen. 

Over vier jaar, begin 2017, voert de inspectie wederom een onderzoek uit aan de 
hand van de inspectiestandaarden. 
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Bijlage I 



OVERZICHT BEOORDELING ACCREDITATIESTELSEL 



Standaarden 


Goed 


Voldoende 


deels 
voldoende 


on- 
voldoende 


geen 
oordeel 


1. Informatievoorziening 

De instelling en de desbetreffende opleiding worden goed en tijdig 
geïnformeerd over het proces en het beoordelingskader van de hen 
aangaande beoordelingen. 


X 










2. Onafhankelijkheid en deskundigheid 

De actoren in het stelsel zijn onafhankelijk van de te 
accrediteren instellingen en opleidingen en voldoende 
deskundig. 


Onafhankelijkheid 
panels 


X 










Deskundigheid 
panels 




X 








3. Betrouwbaarheid en validiteit 

De inrichting van het stelsel leidt tot betrouwbare en 
valide onderzoeksprocessen en beoordelingen. 


Betrouwbaarheid 










X 


Validiteit 






X 






4. Zorgvuldigheid 

De beoordelingen en besluiten zijn gebaseerd op zorgvuldige processen. 




X 








5. Kwaliteitsborging 

De kwaliteit van het accreditatiestelsel wordt voldoende geborgd. 






X 






6. Stimulerende werking 

De beoordelingen stimuleren instellingen respectievelijk opleidingen in 
voldoende mate tot verbetering van de kwaliteitszorg respectievelijk de 
kwaliteit. 


X 










7. Transparantie 

Het accreditatiestelsel draagt in voldoende mate bij aan de bekendheid van 
de kwaliteit en het profiel en van de verschillen tussen instellingen en 
opleidingen. 






X 






8. Administratieve lasten 

Het accreditatiestelsel geeft niet meer administratieve lasten dan nodig. 






X 






9. Dekking 

AWe opleidingsvarianten van bekostigde nieuwe en bestaande opleidingen 
die ten tijde van de beoordeling verzorgd worden, zijn beoordeeld, evenals 
alle opleidingsvarianten van niet-bekostigde geaccrediteerde opleidingen. Er 
zijn na een beoordeling geen substantieel afwijkende varianten van een 
beoordeelde opleiding ontwikkeld. 




X 








10. Wettelijke vereisten 

Het accreditatiestelsel voldoet aan de wettelijke vereisten. 


X 










Evaluatievragen 


1. Vermindering van de administratieve lasten 








X 




2. Meer stimulering van de kwaliteitscultuur 




X 








3. Meer focus op kwaliteit, inhoud en resultaten 




X 








4. Verschillen in kwaliteit 




X 








5. Meer maatwerk in het stelsel 




X 
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Bijlage II 



SAMENSTELLING RESONANSGROEP 



De Resonansgroep bestaat uit de volgend leden en hun vervangers. 



W.J. (Willem Jelle) Berg, Bestuurder CNV Onderwijs Hoger Onderwijs 

Drs. M.J.C. (Marie-Jet) Fennema, adviseur Onderwijs, Universiteit Utrecht, 
vervanger voor dhr. Van der Zande 

Dr. R.T. (René) Haverslag, Beleidsadviseur VSNU, vervanger voor mevr. Van Vliet 
drs. M.H.J. (Ria) van 't Klooster MBA, directeur NRTO 

W. (Wiep) Koehoorn, Senior Beleidsmedewerker Accreditatie van Corporate Office- 
Quality Assurance bij Stenden Hogeschool, namens CNV-Onderwijs sector Hoger 
Onderwijs, vervanger voor dhr. Berg 

Prof. dr. F. (Frans) Leijnse, emeritus hoogleraar aan de Open Universiteit, lector aan 
de Hogeschool Utrecht. Voorzitter Politieonderwijsraad 

M.M. (Merlin) Majoor, BA LLB, student namens ISO/LSVB 

Drs. R. (Roeland) Smits, adviseur juridische zaken en strategisch beleid, Vereniging 
Hogescholen 

Drs. P. (Paul) Thijssen, directeur NQA (Netherlands Quality Agency) 

Drs. G.M. (Gertine) van der Vliet, Domeinleider Governance en Financiën, VSNU 

Drs. L.A. (Leon) van de Zande, directeur Onderwijs & Onderzoek, Universiteit 
Utrecht 
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Bijlage III 



VERANTWOORDING ONDERZOEKSOPZET 

Het onderzoek is gebaseerd op het concept Toezichtkader accreditatiestelsel en het 
daarin opgenomen waarderingskader. 

A. CONCEPT-WAARDERINGSKADER 

Achtergrond waarderingskader 

De inspectie hanteert voor de beoordeling van het functioneren van het 
accreditatiestelsel een waarderingskader. Het waarderingskader wordt per 
beoordelingssoort gehanteerd en waar nodig aangepast. Elke beoordelingssoort 
bestaat uit twee onderscheiden fasen: 

het onderzoek met een beoordeling door de commissie van deskundigen; 

het besluit door de NVAO. 

Het accreditatiestelsel heeft tot doel om de (basis)kwaliteit van opleidingen c.q. 
instellingen te garanderen, te stimuleren en transparant te maken. Daarvoor is een 
onafhankelijke, valide en betrouwbare oordeelsvorming noodzakelijk, in een proces 
dat zorgvuldig en inzichtelijk wordt georganiseerd en de instellingen niet meer dan 
nodig belast. Het accreditatiestelsel dient mechanismen van kwaliteitsborging in zich 
te hebben. 

De inspectie van het onderwijs heeft de taak hierop toe te zien. Dit toezicht staat 
daarmee uitdrukkelijk ten dienste van het goed functioneren van het 
accreditatiestelsel met het oog op behoud en versterking van het maatschappelijk 
vertrouwen in dit stelsel en daarmee in dat van de kwaliteit van het hoger 
onderwijs. 

Deze uitgangspunten hebben tot het volgende waarderingskader geleid. 

Waarderingskader 

Standaard 1: Informatievoorziening 

De instelling en de desbetreffende opleiding worden goed en tijdig geïnformeerd over het 
proces en het beoordelingskader van de hen aangaande accreditaties. 

Toelichting 

De instelling en de desbetreffende opleiding worden goed geïnformeerd over het 
accreditatiestelsel en de accreditatieprocessen die hen aangaan met betrekking tot het 
verloop, wat van hen daarvoor verwacht wordt, de beoordelingskaders en over de normen 
behorende bij de verschillende eindoordelen. De gevolgen van een accreditatiebesluit zijn 
bekend. Ook andere belanghebbenden kunnen zich een goed oordeel vormen over de 
inrichting van de accreditatie. 

Standaard 2: Onafhankelijkheid 

De actoren in het stelsel zijn onafhankelijk van de te accrediteren instellingen en opleidingen. 
Toelichting 

De organiserende instanties en de commissies van deskundigen zijn in samenstelling, 
werkwijze en oordeelsvorming onafhankelijk van de te beoordelen instellingen en opleidingen. 

Standaard 3: Betrouwbaarheid en validiteit 

De inrichting van het stelsel leidt tot betrouwbare en valide onderzoeksprocessen en 
beoordelingen. 

Toelichting 

Bij een beoordeling is passende informatie verkregen om de kwaliteit van een opleiding, c.q. 
de kwaliteitszorg, te kunnen beoordelen. Alle betrokkenen, waaronder in elk geval de 
studenten, docenten en de examencommissie worden voldoende gehoord. De commissies van 
deskundigen beschikken over voldoende deskundigheid. De beoordelingen van de commissies 
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van deskundigen en van het accreditatieorgaan zijn passend bij de beschikbare informatie, 
het beoordelingskader en de normering (betrouwbaarheid). De commissies van deskundigen 
en het accreditatieorgaan beoordelen niet meer en niet minder dan de gerealiseerde 
kwaliteitsborging van een instelling c.q. de gerealiseerde kwaliteit van een opleiding conform 
het beoordelingskader (validiteit). 

Standaard 4: Zorgvuldigheid 

De accreditaties leiden tot zorgvuldige onderzoeksprocessen en beoordelingen. 
Toelichting 

De instelling en de opleiding, waaronder de docenten, krijgen voldoende gelegenheid hun 
visie, onderwijsinrichting en geleverde prestaties toe te lichten. De commissies en het 
accreditatieorgaan maken voldoende gebruik van schriftelijke en mondelinge informatie van 
de instelling, inclusief van de eventueel aanvullende informatie van een opleiding op 
nagekomen vragen van de NVAO. De onderzoeksuitvoering vindt plaats conform met de 
instelling en opleiding gemaakte afspraken. De reacties van de instelling op het 
conceptrapport en op het accreditatiebesluit worden zorgvuldig gewogen en de wijze van 
verwerking daarvan wordt aan de instelling bekendgemaakt. Het rapport en het besluit 
worden uitgebracht binnen redelijke, c.q. de gestelde termijn. De follow-up na een afwijzende 
of voorwaardelijke accreditatie verloopt conform de gecommuniceerde werkwijze. 



Standaard 5: Kwaliteitsborging 

De kwaliteit van het accreditatiestelsel is voldoende geborgd. 



Toelichting 

Er zijn voldoende operationeel geformuleerde doelen met betrekking tot het 
accreditatiestelsel. Er vindt periodiek voldoende monitoring en evaluatie plaats om na te gaan 
in hoeverre de gestelde doelen bereikt worden. Er worden bij verschil tussen de gestelde en 
de gerealiseerde doelen tijdig toereikende maatregelen ter verbetering genomen. Er vindt 
toereikende publieke verantwoording plaats over doelen van het accreditatiestelsel, realisatie 
daarvan en genomen verbetermaatregelen. 

Standaard 6: Stimulerende werking 

De beoordelingen stimuleren instellingen respectievelijk opleidingen in voldoende mate de 
verbetering van de kwaliteitszorg respectievelijk de kwaliteit. 

Toelichting 

De beoordelingen stimuleren in voldoende mate instellingen en opleidingen tot een 
kwaliteitscultuur en tot continue verbetering van de kwaliteitszorg en van het onderwijs. De 
follow-up-procedures leiden tot de beoogde kwaliteitsverbetering. 

Standaard 7: Transparantie 

Het accreditatiestelsel draagt in voldoende mate bij aan de bekendheid van de kwaliteit en 
profiel en verschillen daarin tussen instellingen en opleidingen. 

Toelichting 

Het accreditatiestelsel levert onder andere via rapporten en besluiten transparante informatie 
over zowel de basiskwaliteit als over verschillen in kwaliteit en profielen tussen opleidingen. 
De informatie is goed toegankelijk voor alle betrokkenen en een breder publiek. De rapporten 
en de besluiten zijn duidelijk, consistent en doen recht aan de situatie van de beoordeelde 
opleiding of instelling. Het accreditatiestelsel maakt (internationale) vergelijking van de 
kwaliteit van opleidingen voldoende mogelijk. 

Standaard 8: Accredïtatïelasten 

Het accreditatiestelsel geeft niet meer administratieve lasten dan nodig. 
Toelichting 

Het accreditatiestelsel beperkt waar mogelijk de administratieve lasten. De instellingen 
ervaren de administratieve lasten als redelijk in verhouding tot de opbrengsten van het 
accreditatiestelsel. 



Standaard 9: Dekking 

Alle opleidingsvarianten van bekostigde nieuwe en bestaande opleidingen die ten tijde van de 
beoordeling verzorgd worden, zijn geaccrediteerd, evenals alle opleidingsvarianten van niet- 
bekostigde geaccrediteerde opleidingen. Er zijn na een beoordeling geen substantieel 
afwijkende varianten van een beoordeelde opleiding ontwikkeld. 



Toelichting 
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Onder opleidingsvarianten wordt hier verstaan varianten met volledige programma's zoals 
voltijd, deeltijd, duaal. Er is een toereikende waarborg dat instellingen na een beoordeling 
geen varianten ontwikkelen die meer dan 40 procent afwijken van de beoordeelde variant. 

Standaard 10: Wettelijke vereisten 

Het accreditatiestelsel voldoet aan de wettelijke vereisten. 

Toelichting 

Het betreft hier alle wettelijke voorschriften opgenomen in de WHW, artikel 5a. Verschillende 
wettelijke voorschriften worden al gericht onderzocht in de voorgaande standaarden. Als de 
inspectie tot de conclusie komt dat bepaalde wettelijke bepalingen niet worden nageleefd, 
vermelden we dat bij deze standaard. 



Normering 

Per standaard volgt het oordeel onvoldoende, voldoende, goed of uitstekend. Het 
eindoordeel over het functioneren van het accreditatiestelsel volgt uit een onderzoek 
naar de standaarden en leidt tot het oordeel onvoldoende, voldoende, goed of 
uitstekend. 

Aanpassingen tijdens het onderzoek 

Tijdens het onderzoek hebben we enkele redactionele aanpassingen doorgevoerd en 
is de beoordelingsschaal aangepast. Ook zijn standaarden 2 en 3 in de 
beoordelingen gesplitst. Het waarderingskader en de aanpassingen maken deel uit 
van de evaluatie van het concept Toezichtkader met de NVAO na afloop van het 
onderzoek. 



B. ONDERZOEKSOPZET 

Het onderzoek bestaat uit de volgende onderdelen. 
Gesprekken 

Er zijn uitvoerige gesprekken gevoerd met bestuur en medewerkers van de NVAO 
(op 23 januari en 10 juni 2013) en met de drie grootste evaluatiebureaus NQA, 
Hobéon, beide vooral actief in het hbo, en QANU, vooral actief in het wo. 

Documentanalyse 

Er is van de NVAO een grote hoeveelheid documenten ontvangen die betrekking had 
op: 

scholingen; 

handreikingen voor panels; 

interne kwaliteitszorg en zelfevaluaties; 

systeembrede analyses; 

voorlichting; 

onderzoek. 

Verder zijn documenten van de evaluatiebureaus ontvangen. Deze documenten 
worden verwerkt bij de uiteindelijke beoordeling en rapportage. Zie voor een 
overzicht bijlage V. 

Enquête onder instellingen 

Er is in februari tot en met maart 2013 een vragenlijst afgenomen onder alle 
instellingen waar in het nieuwe stelsel een afgeronde beoordeling (TNO, BO of ITK) 
heeft plaatsgevonden. Uitgangspunt is een bestand dat we op 21 februari 2013 van 
de NVAO ontvingen. Het is een internetvragenlijst. We stellen vragen aan 
betrokkenen op centraal en decentraal niveau over de ervaringen met en 
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opvattingen over de beoordelingen. De vragen zijn afgeleid van onze standaarden 
van het concept toezichtkader. 



Tabel lila: steekproef en response enquête onder instellingen 





Populatie 


Steekproef, in aantal en in 
percentage van de 
populatie 


Respons, in aantal en in 
percentage van de 
steekproef 


Instellingen 


58 


50 


86 % 


50 


100 % 


Opleidingen 


183 


69 


38 % 


56 


81 % 


Vragenlijsten 




115 




98 


85 % 



De populatie bestaat uit instellingen voor alleen één of meer 
opleidingsbeoordeling(en) en zeven voor (bovendien) een ITK, bij elkaar 58 
instellingen. Deze kennen in totaal 183 opleidingen met een afgeronde, nieuwe 
beoordeling. 

Deze instellingen zijn vrijwel allemaal benaderd, met uitzondering van acht kleinere 
(bekostigde en niet-bekostigde) instellingen die om uiteenlopende redenen (met 
name toezichtlast in verband met samenloop met ander onderzoek) buiten het 
onderzoek zijn gebleven. Er resteren vijftig instellingen in de steekproef. 

Bij alle instellingen met één of meer opleidingsbeoordelingen is een vragenlijst 
voorgelegd aan een centrale dienst verantwoordelijk voor de kwaliteitszorg. Een 
vergelijkbare lijst is voorgelegd aan een, twee of drie opleidingen die in het nieuwe 
stelsel beoordeeld zijn. Het aantal opleidingen dat per instelling bevraagd werd, hing 
af van het aantal beoordeelde opleiding per instelling: 

bij één opleiding: één opleiding in de steekproef; 

bij twee, drie of vier opleidingen: twee opleidingen in de steekproef; 

bij meer dan vier opleidingen: drie opleidingen in de steekproef. 

De inspectie selecteerde de opleidingen uit de totale groep van 183. De niet- 
onderzochte opleidingen zijn buiten beschouwing gelaten om de belasting voor de 
instelling te beperken. Dit leidde tot een steekproef van 69 opleidingen. 
Ook is er een vragenlijst voorgelegd aan instellingen die een ITK hebben gehad. 
Het totaal aantal vragenlijsten aan opleidingen, de centrale diensten van de 
desbetreffende opleidingen en instellingen met een ITK was 98, dat is 85 procent 
van de 115 uitgezette vragenlijsten. 

Van deze 98 zijn er 29 afkomstig uit het wo, 54 uit het hbo en 15 uit het niet- 
bekostigd onderwijs (hier steeds hbo). 

Er is na enkele rappels een respons van 100 procent van de instellingen en 81 
procent van de opleidingen in de steekproef. Een responsanalyse laat zien dat de 
respons representatief is voor de verhouding in de populatie tussen wel of geen 
herstelperiode dan wel voorwaarden en tussen TNO en BO. 

De antwoorden op de voorgestructureerde vragen - bij de meeste vragen in een 
vijfpuntsschaal - zijn geanalyseerd op verschil tussen wo en hbo, tussen bekostigd 
en niet-bekostigd en tussen de antwoorden van centraal en decentraal niveau. Ook 
zijn enkele samenhangen nader bekeken. Van de mogelijkheid om toelichtingen te 
geven is ruim gebruikgemaakt. 



Analyse rapporten en besluiten 



Aan de hand van hetzelfde bestand van 21 februari zijn in maart 2013 alle 239 
rapporten en besluiten in het nieuwe stelsel onderzocht. Dit betrof 59 instellingen en 
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186 opleidingen. Per opleiding kunnen er meerdere rapporten en besluiten 
verschijnen indien varianten (voltijds, deeltijd of duaal) of vestigingen apart zijn 
onderzocht en gerapporteerd. De rapporten bevatten in totaal 1.168 beoordelingen 
van standaarden voor de BOU, 426 voor de BOB, 176 voor de TNO uitgebreid en 52 
voor de TNO beperkt, in totaal 1.822 oordelen van standaarden. 

Hieronder staan enkele kenmerken van het bestand. 



Tabel IHb: Aantal beoordelingen naar enkele kenmerken 



Aantal Percentage 


Bekostiging 


Bekostigd 


198 


83 % 


Niet-bekostigd 


41 


17 % 


Soort hoger onderwijs 


Hbo 


172 


72 % 


Wo 


67 


28 % 


Soort opleiding 


Hbo-bachelor 


120 


50 % 


Hbo-master/pi-master 


45 


19 % 


Hbo-Ad 


7 


3 % 


Wo-bachelor 


21 


9 % 


Wo-(research)master 


46 


18 % 


Opleidingsvariant 


Voltijd 


147 


61 % 


Deeltijd 


78 


32 % 


Duaal 


14 


6 % 


Evaluatiebureau 


AeQui 


20 


8,4 % 


Certiked VBI 


9 


3,8 % 


Hobéon 


68 


28,5 % 


NQA 


60 


25,1 % 


QANU 


47 


19,7 % 


Geen bureau 


8 


3,3 % 


Totaal 


239 


100 % 



De rapporten zijn geanalyseerd op de volgende vragen: 



o Wat waren de beoordelingen op de standaarden en de eindoordelen, in de 

panelrapporten en in de besluiten? 
o Is er samenhang tussen de oordelen en het evaluatiebureau? 
o Is er samenhang tussen de oordelen en de voorzitters van de panels? 
o Zijn er verschillen in oordelen tussen de panelrapporten en de NVAO-besluiten? 

Cases 

Er zijn negen cases geselecteerd voor een diepte-onderzoek: drie instellingen waar 
een ITK heeft plaatsgevonden en zes instellingen voor een opleidingsbeoordeling. 
Selectiecriteria waren: spreiding naar uitkomst, naar wo en hbo, naar bekostigd en 
niet-bekostigd, naar bachelor en master en naar evaluatiebureau. 

Er is na de eerste selectie zowel een ITK als een opleiding afgevallen, beide in 
verband met samenloop met een herbeoordeling, dan wel beoordeling van 
voorwaarden. Een ITK is vervangen door een andere instelling; voor de opleiding is 
geen vervanging gekozen, waardoor we op acht cases uitkomt. De verdeling zag er 
als volgt uit: 

o drie ITK's: één positief, één positief met voorwaarden en één 

teruggetrokken; 
o een TNO met voorwaarden; 
o twee uitgebreide accreditaties, positief; 
o een uitgebreide accreditatie, met herstelperiode; 
o een beperkte accreditatie, positief; 
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o verdeeld over vier evaluatiebureaus en vier NVAO-panels; 

o tweemaal wo, driemaal bekostigd hbo en tweemaal niet-bekostigd hbo. 

Voor elke casus spraken we afzonderlijk met een CvB-lid (alleen bij ITK), centrale 
en/of decentrale dienst kwaliteitszorg, een opleidingsmanager, docenten (niet bij 
ITK) en de voorzitter en secretaris van de panels. Vooraf bestudeerden we de DUO- 
registratie, de kritische zelfreflectie, het rapport of rapporten van het panel en het 
besluit of de besluiten van de NVAO. De gesprekken vonden plaats in april tot juni. 
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Bijlage IV 

UITKOMSTEN ACCREDITATIESTELSEL 2005 - 2011 



Toelichting 

o In onderstaande tabellen staan de uitkomsten van de besluiten van de NVAO 

voor de toets nieuwe opleidingen en de accreditatie van bestaande opleidingen. 

Het zijn de uitkomsten van 2005 t/m 2011, eerst voor het hele hoger onderwijs, 

en daarna per onderwijssoort, 
o Er zijn drie uitkomsten weergegeven: opleidingen die door de instelling uit de 

aanvraagprocedure zijn teruggetrokken (doorgaans vanwege een negatief 

panelrapport), negatieve besluiten en positieve besluiten. Bij terugtrekkingen is 

er geen besluit meer genomen, 
o Let op: bij de Toets nieuwe opleidingen staan bij de negatieve besluiten niet de 

percentages, maar de absolute aantallen. Dit in verband met de kleine 

aantallen. 

o Voor 2011 betreft het percentage positief de positieve besluiten zonder 

voorwaarden (TNO) en zonder hersteltijd (BO). 
o Bron voor deze tabellen: Jaarverslagen NVAO 2005 - 2011 



Tabel IVa Percentages terugtrekkingen, negatief en positief besluit voor gehele hoger 
onderwijs van 2003 - 2011 





Toets nieuwe opleiding 


Accreditatie best. opleiding 






% 


aantal 


% 




% 


% 


% 




N 


terug 


neg. 


pos. 


N 


terug 


neg. 


pos. 


2005 


59 


22 


1 


76 


371 


4 


2 


94 


2006 


91 


30 





70 


336 


2 


2 


96 


2007 


102 


25 


1 


74 


523 





1 


99 


2008 


114 


22 





78 


573 





1 


99 


2009 


117 


31 


2 


67 


506 


2 


2 


96 


2010 


106 


25 





75 


424 


2 





98 


2011 


82 


15 





85 


305 


2 


1 


97 



Tabel IVb Percentages terugtrekkingen, negatief en positief besluit voor het wetenschappelijk 
onderwijs van 2005 - 2011 





Toets nieuwe opleiding 


Accreditatie best. opleiding 






% 


aantal 


% 




% 


% 


% 




N 


terug 


neg. 


pos. 


N 


terug 


neg. 


pos. 


2005 


22 


14 





86 


141 


2 





98 


2006 


28 


29 





71 


190 


4 


4 


99 


2007 


25 


8 





92 


351 








100 


2008 


30 


17 





83 


343 


1 





99 


2009 


31 


23 





77 


153 


1 


1 


98 


2010 


32 


50 





50 


125 








100 


2011 


18 


11 





89 


60 


3 





97 
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Tabel IVc Percentages terugtrekkingen, negatief en positief besluit voor het hoger 
beroepsonderwijs van 2005 - 2011 





Toets nieuwe opleiding 


Accreditatie best. opleiding 






% 


aantal 


% 




% 


% 


% 




N 


terug 


neg. 


pos. 


N 


terug 


neg. 


pos. 


2005 


31 


23 





77 


190 


4 


2 


94 


2006 


35 


29 





71 


113 


1 


4 


95 


2007 


37 


30 





70 


144 


3 





97 


2008 


47 


23 





77 


203 





1 


99 


2009 


51 


20 





80 


179 


1 


2 


97 


2010 


39 


13 





87 


283 


2 


1 


97 


2011 


25 


24 





76 


212 








100 



Tabel IVd Percentages terugtrekkingen, negatief en positief besluit voor het niet-bekostigd 
onderwijs van 2005 - 2011 





Toets nieuwe opleiding 


Accreditatie best. opleiding 






% 


aantal 


% 




% 


% 


% 




N 


terug 


neg. 


pos. 


N 


terug 


neg. 


pos. 


2005 


6 


50 


1 


33 


40 


10 


13 


77 


2006 


28 


32 





68 


33 


18 


12 


70 


2007 


40 


32 


1 


65 


28 





11 


86 


2008 


37 


24 





76 


27 


4 


4 


92 


2009 


35 


54 


2 


40 


23 


22 


17 


61 


2010 


35 


17 





83 


14 


22 





78 


2011 


39 


15 





85 


33 


6 


3 


91 
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Bijlage V 

DE ONTWIKKELING VAN HET ACCREDITATIESTELSEL 



Visitatiestelsel: 1985 - 2002 

Het Nederlandse accreditatiestelsel is voortgekomen uit het visitatiestelsel, dat 
vanaf 1985 ontwikkeld werd op basis van de nota HOAK (hoger onderwijs autonomie 
en kwaliteit). Het vormde het sluitstuk van externe kwaliteitsborging op de grotere 
autonomie van de instellingen. Door de koepels ingestelde visitatiecommissies 
stelden eens per zes jaar van elke opleiding (clustergewijs) een rapport op en gaven 
oordelen over de kwaliteitsdimensies, zonder eindoordeel. Dit had de dubbele 
doelstelling van stimuleren van kwaliteitsverbetering en het afleggen van 
verantwoording. De inspectie zag hier vanaf 1993 op toe door middel van het meta- 
toezicht (check op de kwaliteit van visitatierapporten) en van het toezicht op de 
vervolgmaatregelen (bestuurlijke hantering) door de instelling. Dit alles was in de 
WHW met een enkele bepaling mogelijk gemaakt. 

Bologna verklaring 

In de Bolognaverklaring van 1999 spraken de Europese landen af de internationale 
mobiliteit van studenten te bevorderen, onder andere door middel van een 
gemeenschappelijke bachelormasterstructuur en een reeks eisen te stellen aan 
nationale kwaliteitszorgsystemen. Zo moesten deze een duidelijke toedeling van 
verantwoordelijkheden kennen, een evaluatie van onderwijsprogramma's, en een 
systeem van accreditatie of certificatie. Ook werd door ENQA (European Association 
for Quality Assurance in Higher Education) richtlijnen voor de nationale 
kwaliteitszorgsystemen opgesteld: de European Standards and Guidelines (ESG). 
Verder stelde men een register in voor kwaliteitsorganen, het EQAR (European 
Quality Assurance Register in Higher Education). Deze organen dienen zich bij 
registratie te houden aan de richtlijnen en zich periodiek te laten keuren door 
onafhankelijke deskundigen. 

Invoering accreditatiestelsel: 2002 

In 2002 is het accreditatiestelsel in de WHW verankerd. Hoewel het voortbouwde op 
het visitatiestelsel waren er belangrijke verschillen: de beoordeling ging uitmonden 
in een eindoordeel en vervolgens een keurmerk: de accreditatie. De accreditatie en 
daaraan verbonden rechten (bekostiging, getuigschriften en studiefinanciering) 
waren niet langer bij voorbaat gegeven, maar moesten verworven worden. De 
beoordelingen werden niet langer onder auspiciën van de koepels, maar onder die 
van een apart accreditatieorgaan gegeven: de NAO. Na bekrachtiging van het 
Verdrag inzake samenwerking op het terrein van de accreditatie door de Vlaamse en 
Nederlandse onderwijsministers, werd in 2005 de NVAO opgericht als een eigen 
rechtspersoon. Het Comité van Ministers, te weten de beide onderwijsministers, 
houdt toezicht op het orgaan. In Nederland valt de NVAO onder de Kaderwet 
zelfstandige bestuursorganen. 

Eerste beoordelingen van het accreditatiestelsel 

In 2005 tot 2007 verschenen vier rapporten van de inspectie (22). De inspectie 
constateert dat het stelsel naar behoren functioneert, maar ziet wel toenemende 
lasten voor de instelling. De taakverdeling tussen de NVAO en de visiterende en 
beoordelende instanties (de VBI's) blijkt niet duidelijk. Ook moet volgens de 



22 Inspectierapporten: 

Introductie en deel 1: Accreditatie in internationaal perspectief. Inspectie van het 
Onderwijs, 2005; 

deel 2: Accreditatie: de kosten in kaart. Inspectie van het Onderwijs, 2005; 

deel 3: Accreditatie in werking: beoogde en niet beoogde effecten. Inspectie van het 

Onderwijs, 2006; 

deel 4: Accreditatie: de opleiding aan het werk (De werking van het accreditatieproces in 
de ogen van de instellingen). Inspectie van het Onderwijs, 2007. 



IvhO. De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs. 17-07-2013 Pagina 77 van 84 



inspectie meer aandacht gegeven worden aan de betrouwbaarheid en validiteit van 
de oordeelsvorming. Verder behoeft de werkwijze en vaststelling van de bijzondere 
kwaliteitskenmerken verduidelijking. 

In 2007 verscheen het rapport van een internationale commissie die op verzoek van 
het Comité van Ministers het functioneren van de NVAO had beoordeeld aan de hand 
van de European Standards and Guidelines (23). Het rapport concludeert dat de 
NVAO aan de richtlijnen voldoet: opleidingen onder de basiskwaliteit zijn door de 
mand gevallen, de interne kwaliteitszorg heeft een impuls gekregen en de 
voorstellen voor nieuwe opleidingen zijn verbeterd. De commissie doet een aantal 
aanbevelingen. De systemen van Nederland en Vlaanderen dienen verder 
geharmoniseerd te worden. Er dient meer aandacht te gaan naar 
kwaliteitsverbetering en minder naar procedures en processen. De structuur met de 
VBI's en NVAO werkt niet goed. 

De commissie meent dat het stelsel aangepast moet worden: instellingen met een 
stevig intern kwaliteitszorgsysteem zouden voor langere tijd (tien jaar) vrijgesteld 
moeten worden van opleidingsaccreditatie. 

Ook de OECD is in een rapport in 2007 positief over het Nederlandse stelsel, maar 
ziet toenemende lasten en bureaucratie (24). De OECD geeft in overweging over te 
stappen naar instellingsaccreditatie en ook om de tussenlaag van de VBI's te 
heroverwegen. 

Verder verschijnen er evaluaties van CHEPS en de Algemene Rekenkamer in 2008. 
CHEPS is positief over het stelsel: het versterkt het vertrouwen in het stelsel. De 
Rekenkamer concludeert dat het systeem goed is uitgewerkt, maar er wordt nog te 
weinig naar de inhoudelijke aspecten van onderwijskwaliteit gekeken. De oordelen 
en onderbouwingen van de commissies zijn niet altijd voldoende geëxpliciteerd, met 
volgens de Rekenkamer het risico dat ondermaatse opleidingen toch worden 
geaccrediteerd. 

Volgens de Memorie van Toelichting bij de wetswijziging van de WHW in verband 
met aanpassing van het accreditatiestelsel (2009) zijn samengevat de belangrijkste 
nadelen van het stelsel: 



o het veroorzaakt hoge lasten voor instellingen en docenten; 

o het is meer gericht op processen en procedures in plaats van op de 

inhoudelijke beoordeling; 
o het stelsel zet onvoldoende aan tot verbetering, er ontstaat defensief 

gedrag; 

o accreditatie gaat alleen over de basiskwaliteit en maakt verschillen in 
kwaliteit daarboven niet zichtbaar. 



Beperkte aanpassing in 201 

Vooruitlopend op de grote verandering in 2011 worden bij de wet Versterking 
besturing hoger onderwijs enkele kleinere verbeteringen ingevoerd: 



o invoering van de mogelijkheid voor de NVAO om een herstelperiode te 
geven; 

o van rechtswege verlengen van de accreditatietermijn indien de NVAO niet 

tijdig een besluit genomen heeft; 
o toetsing en examinering wordt een aparte standaard die voldoende moet 

zijn; 

o instellingen moeten een redelijke termijn hanteren voor studenten om af te 
studeren bij het beëindigen van de accreditatie en hen goed informeren; 



23 Report of the committee for the review of the NVAO, 2007 

24 Thematic Review of Tertiary Education Country Note The Netherlands, OECD, 2007 
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o De IB Groep (thans DUO) krijgt de mogelijkheid zelf de inschrijving van 
opleidingen aan te passen. 

Invoering nieuw stelsel in 2011: doelen 

Per 1 januari 2011 wordt het accreditatiestelsel ingrijpend veranderd. Dit is 

aangekondigd in de nota Focus op kwaliteit van februari 2008. 

De Memorie van Toelichting bij de WWA noemt de volgende doelen van het nieuwe 

stelsel: 

1. vermindering van de administratieve lasten, door centraal te regelen aspecten 
van kwaliteit alleen nog op centraal niveau te beoordelen en niet meer op 
opleidingsniveau; 

2. meer stimulering van de kwaliteitscultuur van instellingen en opleidingen, het 
stelsel moet uitnodigen tot visie en beleid op kwaliteit, met behoud van 
verschillen tussen instellingen; 

3. meer focus op kwaliteit, de inhoud van de opleiding en de resultaten van de 
opleidingen moeten meer op de voorgrond komen. Daarmee krijgt in de peer 
review 'het deskundigenoordeel, het timmermansoog, alle ruimte'. Dit moet 'een 
betere balans geven tussen verantwoording en verbetering'. Ook zullen 
verschillen in kwaliteit boven het basisniveau zichtbaar gemaakt worden; 

4. meer maatwerk in het stelsel, door invoering van een hersteltijd waar dat nodig 
is en de mogelijkheid sneller op te kunnen treden en opleidingen te beëindigen. 

Kenmerken van het nieuwe stelsel 

Het nieuwe accreditatiestelsel kent de volgende onderdelen: 

o Eens in de zes jaar wordt een feitelijk verzorgde opleiding beoordeeld en 
geaccrediteerd. 

o Er is een beperkt regime van beoordelingen mogelijk, waarbij niet meer naar 
centraal te regelen aspecten gekeken wordt (kwaliteitszorg, 
personeelsbeleid); dit geldt zowel voor de beoordeling van bestaande als die 
van nieuwe opleidingen. 

o Daarvoor kan een instelling een instellingstoets kwaliteitszorg aanvragen. Bij 
een positieve toets komen de opleidingsbeoordelingen bij de instelling in het 
beperkte regime. Het aanvragen van een toets is niet verplicht. Zonder de 
positieve toets blijven de beoordelingen in het uitgebreide regime. 

o Bij een negatief opleidingsoordeel van een bestaande opleiding kan de NVAO 
een herstelperiode geven. In een Algemene Maatregel van Bestuur (AMvB) 
is geregeld in welke gevallen de NVAO een herstelperiode kan geven. Bij een 
toets nieuwe opleiding kan de NVAO voorwaarden verbinden aan een 
positieve toets. Ook aan de instellingstoets kan de NVAO voorwaarden 
verbinden aan een positieve uitslag, waaraan binnen een jaar voldaan moet 
zijn. In een AMvB is geregeld welke voorwaarden de NVAO wanneer kan 
stellen. 

o De NVAO laat zich bij de toets nieuwe opleiding en de instellingstoets 

adviseren door een door haar in te stellen commissie van deskundigen. De 
NVAO dient daarnaast in te stemmen met een door de instelling in te stellen 
commissie van onafhankelijke deskundigen die de beoordeling van de 
opleiding uitvoert. 

o De NVAO kan de minister ook tussentijds adviseren een accreditatie te 
beëindigen. De minister dient dan de instelling te horen. 

o De vergelijkbaarheid van de kwaliteit van opleidingen wordt bevorderd door 
het gebruik van accreditatiekaders met criteria, normen en beslisregels. De 
NVAO ziet toe op het uniforme gebruik van de kaders. Ook kunnen de 
koepels HBO-raad en VSNU clustergewijze beoordeling door hetzelfde 
bureau stimuleren. En ten slotte krijgt de NVAO de taak om te rapporteren 
over de kwaliteit van de opleidingen met het oog op de vergelijkbaarheid. 

Daarmee zijn de volgende zes beoordelingen ontstaan: 
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o uitgebreide opleidingsbeoordeling bestaande opleiding (UOB); 

o beperkte opleidingsbeoordeling bestaande opleiding (BOB); 

o uitgebreide toets nieuwe opleiding (TNO); 

o beperkte toets nieuwe opleiding; 

o instellingstoets kwaliteitszorg (ITK); 

o beoordeling van een bijzonder kenmerk. 

Voor elke beoordelingssoort heeft de NVAO op grond van de wettelijke voorschiften 
een beoordelings- of accreditatiekader opgesteld en gepubliceerd. 
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